Tamanho da amostra no teste A/B: quantas visitas você precisa?

Duas operações com o mesmo tráfego podem precisar de amostras muito diferentes. Uma página que converte 20% tem mais eventos observáveis do que outra que converte 0,5%. Detectar uma melhora relativa de 30% também é mais fácil do que detectar 3%.

A pergunta correta é: qual diferença mínima teria valor suficiente para mudar a decisão? Esse valor é o efeito mínimo detectável, conhecido como MDE.

Para conversões binárias, como comprou ou não comprou, o planejamento costuma usar quatro parâmetros.

• Taxa de conversão de referência: estimativa realista da versão A.
• Efeito mínimo detectável: menor diferença que compensa a mudança.
• Nível de significância: limite planejado para falso positivo, muitas vezes 5%.
• Poder estatístico: chance planejada de detectar o efeito quando ele existe, muitas vezes 80%.

Se a taxa atual é 5% e a meta é 6%, o aumento absoluto é 1 ponto percentual. O uplift relativo é 20%, porque 1 dividido por 5 é 0,20.

Confundir as duas medidas pode produzir amostras muito menores do que o necessário. Registre sempre a taxa de A, a taxa esperada de B e as duas formas de diferença.

O MDE não deve ser escolhido para caber no tráfego disponível. Ele deve representar a menor mudança economicamente relevante. Se o tráfego não consegue detectar esse valor em prazo razoável, o teste talvez não seja o melhor método naquele momento.

Depois de estimar pessoas por variante, divida pelo volume diário elegível e pela fração de tráfego destinada ao teste. Use pessoas ou sessões conforme a randomização, não visualizações repetidas da mesma pessoa.

O prazo também deve cobrir ciclos de comportamento. Uma amostra atingida em dois dias pode representar apenas dias úteis, uma campanha específica ou o início de um lançamento. Quantidade e representatividade são problemas diferentes.

A calculadora gratuita do Pagetester aplica uma aproximação normal para duas proporções independentes. Ela é adequada para planejamento inicial, mas não substitui revisão estatística quando há múltiplas variantes, métricas contínuas, dependência entre observações ou monitoramento sequencial.

Aumente o contraste entre as hipóteses, direcione o teste a uma etapa com mais eventos ou combine dados quantitativos com pesquisa qualitativa. Não reduza arbitrariamente o rigor até qualquer oscilação parecer vitória.

Outra opção é medir um evento mais frequente, desde que ele seja um bom indicador do objetivo final. O ganho de velocidade não compensa escolher uma métrica que a equipe não quer realmente otimizar.