Comment éviter de se faire bloquer en scraping massif ?
Je fais du scraping sur un site avec beaucoup de données et je me fais bloquer toutes les 10 minutes. Vous avez des techniques pour contourner ça ?
Comment éviter de se faire bloquer en scraping massif ?
Scraping, enrichissement, APIs, collecte de donnees
Re: Comment éviter de se faire bloquer en scraping massif ?
Utilise des proxies rotatifs ! J’en utilise une dizaine et ça fait toute la différence. Tu peux aussi ralentir les requêtes pour éviter de déclencher les systèmes de détection.
person
Re: Comment éviter de se faire bloquer en scraping massif ?
Les proxies c’est bien, mais fais attention à la qualité. Certaines IPs sont déjà blacklistées. Perso, je combine ça avec un user-agent différent à chaque requête.
Re: Comment éviter de se faire bloquer en scraping massif ?
Des recommandations pour les proxies ? J’ai testé un service gratuit, mais c’était vraiment lent.
person
Re: Comment éviter de se faire bloquer en scraping massif ?
J’utilise Luminati depuis quelques mois et c’est super fiable, mais ça coûte un peu cher. Sinon, Oxylabs est aussi une bonne option pour les projets sérieux.
reply
Répondre
build expand_more
5 messages
Page 1 sur 1
arrow_back
Revenir à « Scraping & data collection »