Growth Hacking & Acquisition

Salut à tous, je cherche un outil pour scraper des données à grande échelle (plusieurs milliers de pages par jour). J’ai testé Scrapy, mais je pense que je vais vite atteindre des limites en termes de vitesse et de gestion des proxies. Quelqu’un a une recommandation ?

Scrapy est solide, mais pour aller plus loin, j’utilise Octoparse depuis quelques mois. C’est encore plus puissant pour le scraping à grande échelle, et tu peux gérer les proxies plus facilement. Par contre, il faut bien paramétrer les délais pour éviter de se faire bloquer.

Je suis plutôt team Scrapy aussi, mais j’ai entendu parler de ParseHub qui semble intéressant pour les projets complexes. Est-ce que quelqu’un l’a déjà testé ?

ParseHub est bien, mais pour moi, Octoparse reste plus flexible. J’ai scrappé des centaines de milliers de pages sans trop de soucis, avec une bonne gestion des IPs. Par contre, il faut un budget un peu plus conséquent.

Et côté tarif, vous avez vu quoi ? Octoparse semble bien, mais j’ai vu que le plan pro est assez cher. Est-ce que ça vaut vraiment le coup par rapport à Scrapy qui est gratuit ?

Oui, Octoparse est cher, mais si tu fais du scraping intensif, ça peut vraiment valoir le coup. Scrapy est gratuit, mais tu vas devoir gérer tes proxies et ta planification toi-même, ce qui peut vite devenir chronophage.