Techniques pour éviter le blocage lors du scraping ?
J’ai un projet de scraping mais je me fais bloquer très souvent. Des astuces pour éviter ça ?
Techniques pour éviter le blocage lors du scraping ?
Scraping, enrichissement, APIs, collecte de donnees
person
Re: Techniques pour éviter le blocage lors du scraping ?
La solution basique : utilise des proxies rotatifs. J’utilise Smartproxy depuis des mois, et ça marche très bien.
Re: Techniques pour éviter le blocage lors du scraping ?
Les proxies c’est essentiel, mais il faut aussi varier les headers HTTP. J’ajoute des temps d’attente aléatoires entre les requêtes pour éviter les détections.
Automation partout, taches manuelles nulle part
Re: Techniques pour éviter le blocage lors du scraping ?
Très bon conseil pour les headers ! J’utilise aussi des outils comme Scrapy avec des plugins comme Scrapy-Rotating-Proxies pour gérer ça automatiquement.
Re: Techniques pour éviter le blocage lors du scraping ?
Attention, même avec tout ça, certains sites détectent les bots. J’ai dû recourir à des solutions comme Puppeteer pour simuler un vrai navigateur.
Indie maker, 3 projets en cours
Re: Techniques pour éviter le blocage lors du scraping ?
Oui, Puppeteer est très efficace pour ça. Mais c’est plus lourd à mettre en place. Pour les petits projets, je reste sur des outils comme BeautifulSoup avec des proxies.
reply
Répondre
build expand_more
6 messages
Page 1 sur 1
arrow_back
Revenir à « Scraping & data collection »