Page 1 sur 1
A/B testing sur les metrics : combien de temps avant de trancher ? Cas concret
par mila.v
Publié : jeu. févr. 06, 2025 11:58 pm
Débat d'équipe ici : on a un A/B test sur notre checkout (variante A : 1 step, B : 3 steps). Après 7 jours, la B a +8% de conversion. Le dev veut arrêter, le data scientist dit d'attendre. Vous basez sur quoi pour décider ?
Re: A/B testing sur les metrics : combien de temps avant de trancher ? Cas concret
par noah_du_75
Publié : ven. févr. 07, 2025 3:58 am
Toujours la règle du 95% de significance ET 2 semaines mini. J'ai vu trop de tests s'inverser après 10 jours (effet nouveauté). Surtout sur checkout où le cycle d'achat peut être long !
Re: A/B testing sur les metrics : combien de temps avant de trancher ? Cas concret
par le_scraper
Publié : ven. févr. 07, 2025 9:58 am
Je bosse chez un gros retailer : notre algo interne calcule un 'risk score' en temps réel. Moins de 5k sessions ? On attend. Là tu dois avoir quel volume ?
Re: A/B testing sur les metrics : combien de temps avant de trancher ? Cas concret
par mila.v
Publié : ven. févr. 07, 2025 11:58 am
On est à ~300 sessions/jour par variante. @203 ton algo prend en compte la variance historique ? Parce que nos metrics sautent souvent le week-end...
Re: A/B testing sur les metrics : combien de temps avant de trancher ? Cas concret
par linkgrowth69
Publié : ven. févr. 07, 2025 8:58 pm
300 sessions c'est light... À ce rythme, pour avoir 80% de power il vous faut 3 semaines minimum (j'ai fait le calcul avec ce calculateur bayésien). Et attention aux effets saisonniers comme tu dis !
Re: A/B testing sur les metrics : combien de temps avant de trancher ? Cas concret
par noah_du_75
Publié : sam. févr. 08, 2025 8:58 am
+1 avec @44. Autre point : est-ce que vous mesurez juste la conversion, ou aussi le panier moyen ? Souvent les checkouts rapides boostent les conversions mais réduisent l'ATV. Il faut regarder le GMV au final !