Page 1 sur 1
Scraper Google Maps sans se faire blacklister : vos techniques ?
par lou1971
Publié : lun. sept. 09, 2024 5:52 pm
Besoin de récupérer des données d'établissements (horaires, avis) sur Maps pour un projet. J'ai essayé BeautifulSoup mais captcha après 20 requêtes. Des solutions fiables en 2024 ?
Re: Scraper Google Maps sans se faire blacklister : vos techniques ?
par nina_marketing
Publié : lun. sept. 09, 2024 7:52 pm
Il faut absolument utiliser Playwright avec des user-agents mobile et limiter à 5 req/min. Je fais tourner ça sur 4 serveurs AWS en parallèle avec 50 req/serveur/jour max.
Re: Scraper Google Maps sans se faire blacklister : vos techniques ?
par manon1992
Publié : mar. sept. 10, 2024 3:52 am
J'ai codé un middleware en Node.js qui alterne entre Puppeteer et Scrapy + proxy rotatif. Coût : 70€/mois pour 10k scrapes quotidiens. Je peux partager l'architecture si intéressé.
Re: Scraper Google Maps sans se faire blacklister : vos techniques ?
par lou1971
Publié : mar. sept. 10, 2024 4:52 am
Impressionnant ! @276 tu gères les captchas comment ? J'ai regardé du côté de 2Captcha mais l'accuracy est aléatoire...
Re: Scraper Google Maps sans se faire blacklister : vos techniques ?
par lucas1999
Publié : mar. sept. 10, 2024 8:52 am
Alternative légale : l'API Google Places. 200€/million de requêtes mais pas de risque de ban. A calculer selon ton business model.
Re: Scraper Google Maps sans se faire blacklister : vos techniques ?
par manon1992
Publié : mar. sept. 10, 2024 2:52 pm
@89 pour les captchas je fais du click farming via Upwork : 3 freelancers à temps partiel qui résolvent manuellement. Ça revient moins cher que les services automatisés pour mon volume.