Growth Hacking & Acquisition

Hello la commu ! Je galère à scraper un site e-commerce en React. Les données ne s'affichent qu'après interactions JS. J'ai testé BeautifulSoup mais ça ne marche pas. Des solutions ?

Il faut un headless browser. Puppeteer (Node.js) ou Playwright (multi-langages) marchent très bien. J'ai scrapé un site Angular récemment avec Playwright + waitForSelector(). Exemple de code si besoin.

Attention aux performances par contre ! Sur mon scraping de site React, Playwright consommait 2Go RAM par instance. J'ai dû switcher vers Scrapy + Splash, moins gourmand.

Merci ! @64 tu pourrais partager ton snippet pour waitForSelector ? Je débute avec Playwright. Et @153, tu as des metrics sur le débit avec Scrapy+Splash ?

Voici un exemple basique : `await page.waitForSelector('.product-name', { timeout: 5000 });` puis `const data = await page.evaluate(() => {...})`. N'hésite pas si tu bloques sur un cas précis !

Autre alternative : regarder les appels XHR directement dans les DevTools. Souvent les sites modernes chargent les données via des APIs, plus simple à parser que le rendu front.