Calculadora de teste A/B: significância e tamanho da amostra
Escreva as visitas e conversões de cada versão e descubra se a diferença é real ou acaso, ou calcule quantas visitas você precisa antes de começar.
Nível de confiança
A versão B vence com 98,8% de confiança
Supera os 95% que você escolheu: é pouco provável que a diferença seja acaso.
Melhora relativa de B sobre A
+16,0%
Faixa provável da diferença
0,17% a 1,43%
Nível de confiança: 95%
Valor p
0,0123
Cálculo com um teste z de duas proporções (bicaudal). Não pare o teste assim que vir um resultado: defina o tamanho da amostra antes e respeite-o.
Perguntas frequentes sobre a calculadora de teste A/B
O que é uma calculadora de teste A/B?
Uma calculadora de teste A/B é uma ferramenta que compara os resultados de duas versões de uma página, anúncio ou e-mail e diz se a diferença entre elas é real ou pode ser puro acaso. Ela também calcula quantas visitas você precisa antes de lançar o teste para que o resultado seja confiável.
Como usar a calculadora de teste A/B?
Na aba “É significativo?”, escreva as visitas e as conversões da versão A (a atual) e da B (a nova). A calculadora de teste A/B mostra na hora a taxa de conversão de cada uma, a melhora de B sobre A e o nível de confiança. Se a confiança superar o nível que você escolheu (em geral 95%), a diferença é estatisticamente significativa.
O que significa um resultado estatisticamente significativo?
Significa que é pouco provável que a diferença entre A e B se deva ao acaso. Com um nível de confiança de 95%, você aceita 5% de probabilidade de ver uma diferença que na verdade não existe. Não significa que a melhora seja grande: uma diferença pequena pode ser significativa se você tiver muitas visitas.
O que é o valor p?
O valor p é a probabilidade de ver uma diferença igual ou maior que a que você obteve se, na verdade, A e B convertessem igual. Quanto mais baixo, mais evidência de que a diferença é real. Com 95% de confiança, o resultado é significativo quando o valor p é menor que 0,05.
Como calcular o tamanho da amostra de um teste A/B?
Na aba “Tamanho da amostra” da calculadora de teste A/B, escreva sua taxa de conversão atual e a melhora mínima que você quer detectar (por exemplo, 10% relativo: de 5% para 5,5%). A ferramenta calcula as visitas que cada versão precisa. Se você adicionar as visitas diárias da página, ela também estima quantos dias o teste deve durar.
Quanto tempo deve durar um teste A/B?
Até chegar ao tamanho da amostra que você calculou, em semanas completas: o comportamento muda entre dias úteis e fins de semana. Parar o teste assim que aparece um vencedor é um dos erros mais comuns, porque olhar os dados muitas vezes aumenta a probabilidade de encontrar uma diferença falsa.
O que posso testar com um teste A/B?
Títulos, botões, imagens, preços, formulários, o assunto de um e-mail ou o texto de um anúncio. Teste uma mudança por vez para saber o que causou a diferença. Para medir de onde vêm as visitas de cada campanha, use nosso gerador de links UTM.
Qual método esta calculadora usa?
A calculadora de teste A/B usa um teste z de duas proporções, bicaudal, que é o método padrão para comparar taxas de conversão. Para o tamanho da amostra usa a fórmula clássica com o nível de confiança e o poder estatístico que você escolher (80% ou 90%). Com poucas conversões (menos de 30 por versão) o cálculo perde precisão e a ferramenta avisa.
A calculadora de teste A/B é grátis?
Sim. A calculadora de teste A/B é grátis, não exige cadastro e funciona no seu navegador: seus dados não são enviados a nenhum servidor. Encontre mais guias para decidir com dados na seção Data & Analytics.