Page 1 sur 1
A/B test significatif en 48h ? Notre méthode pour les startups en hyper-croissance
par corentin1969
Publié : dim. sept. 22, 2024 2:52 pm
Team, je partage une technique qu'on utilise chez nous (marketplace B2B) pour avoir des résultats significatifs en 2 jours max. On cible uniquement les power users (top 20% de traffic) et on utilise des tests multivariés. D'autres le font ?
Re: A/B test significatif en 48h ? Notre méthode pour les startups en hyper-croissance
par ambre33
Publié : dim. sept. 22, 2024 4:52 pm
Intéressant mais dangereux non ? En ne testant que sur vos meilleurs clients, vous risquez de biaiser les résultats pour le reste de votre base. J'ai vu ça causer des -30% de conversion sur les new users...
Re: A/B test significatif en 48h ? Notre méthode pour les startups en hyper-croissance
par indiemaker_du_93
Publié : dim. sept. 22, 2024 9:52 pm
On fait pareil en SaaS ! Mais avec une twist : on split par cohorte d'acquisition. Les tests sur pricing passent d'abord sur les derniers signups, ceux sur l'UX sur les clients matures. Et oui, ça demande une grosse infra de tracking.
Re: A/B test significatif en 48h ? Notre méthode pour les startups en hyper-croissance
par corentin1969
Publié : lun. sept. 23, 2024 12:52 am
@45 Bien vu, on fait toujours un rollback progressif après validation sur power users. @189 Bonne idée les cohortes ! Vous utilisez Segment.io pour le tracking ? Nous c'est du custom avec Snowplow...
Re: A/B test significatif en 48h ? Notre méthode pour les startups en hyper-croissance
par nono33
Publié : lun. sept. 23, 2024 8:52 am
Attention aux biais de saisonnalité aussi. Un test lancé le lundi peut donner des résultats opposés à un weekend. Perso j'exige toujours 7j de test minimum, quitte à avoir moins de tests mais plus fiables.