Growth Hacking & Acquisition

Bonjour, je dois scraper un site web avec plusieurs milliers de pages, mais je me fais bloquer rapidement. Quelles techniques utilisez-vous pour éviter ça ? J’ai déjà essayé de varier les IPs avec des proxies.

Salut, j’utilise des proxies rotatifs comme ceux de Bright Data, et je configure un délai aléatoire entre les requêtes. Ça limite pas mal les blocages.

Moi, j’ajoute aussi des headers HTTP réalistes pour simuler un vrai navigateur. Des outils comme Fiddler ou Postman peuvent aider à capturer les headers d’une requête normale.

Attention, même avec des proxies et des headers, certains sites détectent les patterns de scraping. Si possible, essaie de répartir la charge sur plusieurs jours pour limiter les risques.

Merci pour vos conseils ! Je vais tester avec des proxies rotatifs et ajouter des headers réalistes pour voir si ça passe mieux.