Calculateur de taille d'échantillon A/B

Comment Statlift calcule votre échantillon

La formule sous-jacente est celle du Z-test pour la différence entre deux proportions :

n = (z(α/2) + z(β))² × (p₁(1−p₁) + p₂(1−p₂)) / (p₁ − p₂)²

Où :

• p₁ = taux de conversion actuel (baseline)
• p₂ = taux de conversion attendu après uplift (baseline × (1 + MDE))
• α = seuil de signification (5 % par défaut, soit z = 1,96 bilatéral)
• β = 1 − power (20 % par défaut, soit z = 0,84)
• n = échantillon requis par variante (multiplier par 2 pour le total)

Statlift affiche en plus la durée estimée en jours, calculée depuis votre trafic moyen, et les conversions attendues par variante. Si vous travaillez en bayésien, l'outil bascule sur la durée jusqu'à atteindre 95 % de probabilité bayésienne de différence.

Pourquoi le sample size compte autant

Un test arrêté avant d'atteindre le sample size requis a une probabilité élevée de faux positif (erreur de type I), surtout si l'équipe pratique le peeking (consultation répétée). C'est la principale cause de "winners qui ne tiennent pas en prod" — voir notre article Peeking, sequential testing et SRM.