Erreurs à éviter dans les tests A/B : retour d'expérience après un échec cuisant

person

jade_labs

dim. juin 28, 2026 1:23 pm

#1

Erreurs à éviter dans les tests A/B : retour d'expérience après un échec cuisant

Je me lance : j'ai killé notre CVR pendant 3 semaines à cause d'un test mal calibré... En résumé : test sur le filtre produits (nouvelle UI) sans isoler les autres variables. Résultat ? -40% de conversion. Qui a déjà vécu ça ?

Le growth c'est 90% de tests rates

format_quote Citation

person

lou1971

dim. juin 28, 2026 3:23 pm

#2

Re: Erreurs à éviter dans les tests A/B : retour d'expérience après un échec cuisant

Aïe... Mon pire fail : un test où le groupe contrôle incluait majoritairement des mobiles (bug de segmentation). Résultats faussés pendant 1 mois avant qu'on ne remarque. Depuis, on fait systématiquement des checks device/geo/source avant de lancer.

Automation partout, taches manuelles nulle part

format_quote Citation

person

nocode1965

dim. juin 28, 2026 11:23 pm

#3

Re: Erreurs à éviter dans les tests A/B : retour d'expérience après un échec cuisant

Question bête @156 : vous aviez fait un test de puissance avant ? Nous on vise toujours 80% minimum. Et surtout, on arrête AU PREMIER signe négatif significatif (p-value <0,05 dans le mauvais sens). La discipline sauve des plumes !

format_quote Citation

person

jade_labs

lun. juin 29, 2026 3:23 am

#4

Re: Erreurs à éviter dans les tests A/B : retour d'expérience après un échec cuisant

@34 justement non, et grosse leçon apprise... On était pressés par le marketing. Maintenant j'exige un calcul via Optimizely's Stats Engine avant tout test. Vous utilisez quoi comme seuil de significativité ? 95% trop strict parfois non ?

Le growth c'est 90% de tests rates

format_quote Citation

person

linkgrowth38

lun. juin 29, 2026 6:23 pm

#5

Re: Erreurs à éviter dans les tests A/B : retour d'expérience après un échec cuisant

En B2B avec peu de trafic, on descend parfois à 90% quand le potentiel est énorme. Mais avec une grosse alarme si ça plonge. Protip : prévoir toujours un rollback en 1 clic. Notre devops a codé un système qui sauvegarde l'état avant chaque test !

format_quote Citation

Growth Hacking & Acquisition

MENU

Accueil du forum

Information

Erreurs à éviter dans les tests A/B : retour d'expérience après un échec cuisant

jade_labs

jade_labs

Erreurs à éviter dans les tests A/B : retour d'expérience après un échec cuisant

lou1971

lou1971

Re: Erreurs à éviter dans les tests A/B : retour d'expérience après un échec cuisant

nocode1965

nocode1965

Re: Erreurs à éviter dans les tests A/B : retour d'expérience après un échec cuisant

jade_labs

jade_labs

Re: Erreurs à éviter dans les tests A/B : retour d'expérience après un échec cuisant

linkgrowth38

linkgrowth38

Re: Erreurs à éviter dans les tests A/B : retour d'expérience après un échec cuisant