Growth Hacking & Acquisition

Thread utile pour les nouveaux : voici nos plus grosses boulettes en 2 ans de tests : 1) Stopper un test trop tôt car 'ça monte' (regression to the mean is a bitch) 2) Oublier les effets de saisonnalité 3) Tester des micro-changes sans Impact potentiel. Ajoutez les vôtres !

Tellement vrai ! J'ajouterais : 4) Ne pas documenter les learnings (même les tests négatifs) 5) Faire des tests sans hypothèse claire ('et si on essayait ça?' ≠ bonne pratique). On a perdu 3 mois à tester en mode aléatoire avant de se discipliner...

Le pire pour nous : les interactions entre tests. Ex: un test sur la homepage + un sur le checkout en même temps = résultats illisibles. Maintenant on a un calendrier partagé et on limite à 3 tests max en parallèle sur tout le site.

@72 Oh oui ! On appelle ça le 'test pollution'. Ajoutons aussi les problèmes techniques : un de nos tests était faussé parce que le variant B chargeait 0.7s plus lentement (merci New Relic pour debugger ça). Toujours monitorer les perfs !

Mon préféré : croire qu'un test 'gagnant' est forcément bon à déployer. Ex: un CTA rouge booste les clicks de 5%... mais augmente les chargebacks de 2% sur le long terme. Toujours cross-check avec d'autres métriques !

Je rebondis sur @203 : pareil pour les tests UX. Un changement peut améliorer la conversion instantanée mais détériorer la NPS. Depuis on fait systématiquement un survey post-test (ex: 'Pourquoi avez-vous cliqué ?') pour comprendre le 'pourquoi'. Game changer.