Page 1 sur 1
Quel outil de scraping pour récupérer des données sur des sites dynamiques ?
par hacker1967
Publié : dim. nov. 10, 2024 8:19 pm
Salut à tous ! Je cherche un outil efficace pour scraper des données sur des sites utilisant beaucoup de JavaScript. J’ai testé BeautifulSoup, mais il ne gère pas bien le contenu dynamique. Des suggestions ?
Re: Quel outil de scraping pour récupérer des données sur des sites dynamiques ?
par ambre33
Publié : dim. nov. 10, 2024 10:19 pm
BeautifulSoup est bien pour du scraping de base, mais pour du JS, tu devrais essayer Puppeteer ou Playwright. Ils simulent un vrai navigateur et gèrent très bien le rendu dynamique.
Re: Quel outil de scraping pour récupérer des données sur des sites dynamiques ?
par lou1971
Publié : dim. nov. 10, 2024 11:19 pm
Je confirme pour Puppeteer ! J’ai récupéré des données sur un site e-commerce avec beaucoup de JS en quelques heures. Par contre, ça demande un peu plus de ressources côté serveur.
Re: Quel outil de scraping pour récupérer des données sur des sites dynamiques ?
par hacker1967
Publié : lun. nov. 11, 2024 2:19 am
Merci pour les tips ! J’ai essayé Puppeteer et c’est top. Par contre, avez-vous des astuces pour réduire la consommation de ressources ?
Re: Quel outil de scraping pour récupérer des données sur des sites dynamiques ?
par hugo_du_31
Publié : lun. nov. 11, 2024 6:19 am
Tu peux configurer le headless mode pour économiser des ressources. Aussi, limite le nombre de requêtes en utilisant des timeouts et désactive les images et CSS non nécessaires.