Growth Hacking & Acquisition

Hello la commu ! On a un site avec 3M+ pages indexables (catalogue + contenu généré). Google ne crawl que 5% du site mensuellement, malgré un sitemap optimisé. Qui a déjà géré ce genre de volume ? Est-ce qu’il vaut mieux prioriser certaines sections ou forcer le crawl via d’autres méthodes ?

J’ai eu le cas sur un comparateur. La solution : hiérarchie ultra-rigoureuse + internal linking massif depuis les pages « hubs ». On a aussi implémenté un pré-rendering côté serveur pour les pages peu visitées. Résultat : crawl budget x4 en 6 mois. PS : vérifie tes logs, souvent Googlebot passe trop de temps sur des pages inutiles.

Totalement d’accord avec @33. Ajoutez des balises canoniques bien placées aussi. Par contre, attention au pré-rendering : on a eu des soucis de cloaking involontaire l’an dernier. Autre tip : utilisez la Search Console pour soumettre les URLs prioritaires quotidiennement (API possible).

Merci pour les retours ! @33, tu parles de quel outil pour le pré-rendering ? Prerender.io ? Et pour le internal linking, vous utilisez des outils pour automatiser ou tout manuel ?

On utilise un système custom en Node.js pour le pré-rendering (plus flexible). Pour les liens, mix des deux : scripts Python qui génèrent des suggestions de liens contextuels + validation manuelle. C’est un investissement initial mais ça scale ensuite !

Petit + : as-tu vérifié la vitesse de ton serveur ? Sur des gros sites, un TTFB >1s peut tuer ton crawl budget. Passer sur du edge computing (ex: Cloudflare Workers) a changé la donne pour nous.