Growth Hacking & Acquisition

Je me lance : j'ai killé notre CVR pendant 3 semaines à cause d'un test mal calibré... En résumé : test sur le filtre produits (nouvelle UI) sans isoler les autres variables. Résultat ? -40% de conversion. Qui a déjà vécu ça ?

Aïe... Mon pire fail : un test où le groupe contrôle incluait majoritairement des mobiles (bug de segmentation). Résultats faussés pendant 1 mois avant qu'on ne remarque. Depuis, on fait systématiquement des checks device/geo/source avant de lancer.

Question bête @156 : vous aviez fait un test de puissance avant ? Nous on vise toujours 80% minimum. Et surtout, on arrête AU PREMIER signe négatif significatif (p-value <0,05 dans le mauvais sens). La discipline sauve des plumes !

@34 justement non, et grosse leçon apprise... On était pressés par le marketing. Maintenant j'exige un calcul via Optimizely's Stats Engine avant tout test. Vous utilisez quoi comme seuil de significativité ? 95% trop strict parfois non ?

En B2B avec peu de trafic, on descend parfois à 90% quand le potentiel est énorme. Mais avec une grosse alarme si ça plonge. Protip : prévoir toujours un rollback en 1 clic. Notre devops a codé un système qui sauvegarde l'état avant chaque test !