O que é um teste A/B e como fazer passo a passo: exemplo com dados reais (2026)
O que é um teste A/B: comparar duas versões com tráfego real para ver qual converte mais. Com 5% de conversão, você precisa de 31.234 visitas por versão.
· 5 min de leitura
Uma mudança na forma de exibir os títulos dos anúncios do Bing aumentou sua receita em 12%, mais de US$ 100 milhões por ano só nos Estados Unidos, segundo contou na Harvard Business Review Ronny Kohavi, que liderava a experimentação na Microsoft. A ideia ficou meses na fila porque ninguém acreditava nela. Foi descoberta com um teste A/B.
Entender o que é um teste A/B ajuda a decidir com evidência, e não por intuição. Neste guia explicamos como funciona, de quantas visitas você precisa, como ler o resultado e como fazer passo a passo, com um exemplo com números.
12%
Aumento de receita no Bing
por uma mudança nos títulos dos anúncios
250
Experimentos por dia no Bing
mais de 250 em paralelo, 2013
1 em 3
Ideias que melhoram a métrica
ou menos, segundo a Microsoft
31.234
Visitas por versão
com 5% de conversão e +10% de melhora
Fonte: Harvard Business Review, 2017; Bing, 2013; cálculo da InfoByData
Ver os dados em uma tabela
| Aumento de receita no Bing | 12% | por uma mudança nos títulos dos anúncios |
| Experimentos por dia no Bing | 250 | mais de 250 em paralelo, 2013 |
| Ideias que melhoram a métrica | 1 em 3 | ou menos, segundo a Microsoft |
| Visitas por versão | 31.234 | com 5% de conversão e +10% de melhora |
O que é um teste A/B
Um teste A/B é um experimento em que você mostra duas versões de algo, a atual (A) e uma alternativa (B), a grupos de pessoas escolhidos ao acaso, e mede qual obtém melhor resultado em uma métrica definida previamente: compras, cadastros, cliques ou receita.
A chave é o acaso. Como cada pessoa cai em A ou em B por sorteio, os dois grupos são comparáveis, e a diferença no resultado pode ser atribuída à mudança, e não ao horário, à campanha ou ao tipo de cliente. Por isso um teste A/B oferece uma prova de causa e efeito, algo que um relatório de analytics sozinho não consegue.
É possível testar quase tudo: o texto de um botão, o preço do frete, o assunto de um e-mail, a ordem de um formulário ou o design de uma página inteira.
Por que fazer testes A/B: a maioria das ideias não funciona
O motivo mais forte para testar é que nossas intuições falham com frequência. Em um artigo do blog do Bing, a Microsoft explicou que menos de um terço das ideias que testa move as métricas que pretendia melhorar e que, em um produto muito otimizado como seu buscador, a proporção é ainda menor.
A mesma publicação mostra a escala: o Bing tinha mais de 250 experimentos rodando por dia, e quase todo usuário participava de cerca de 15 ao mesmo tempo. Um teste com os links dos anúncios melhorou a receita em "dezenas de milhões de dólares por ano" sem afetar a experiência dos usuários.
Para uma pequena empresa a lição é a mesma: se duas em cada três mudanças não melhoram nada (ou pioram), lançar sem medir significa acumular mudanças que não agregam.
De quantas visitas você precisa: o tamanho da amostra
Antes de começar é preciso calcular quantas visitas cada versão precisa. Depende de dois dados: sua taxa de conversão atual e a melhora mínima que você quer detectar. Quanto menor a conversão e menor a melhora, mais visitas são necessárias.
- Para detectar +10%
- Para detectar +20%
Fonte: Cálculo da InfoByData com 95% de confiança e 80% de poder
Ver os dados em uma tabela
| Para detectar +10% | Para detectar +20% | |
|---|---|---|
| Conversão de 2% | 80.682 | 21.109 |
| Conversão de 5% | 31.234 | 8.158 |
| Conversão de 10% | 14.751 | 3.841 |
Com uma conversão de 5%, detectar uma melhora de 10% (de 5% para 5,5%) exige 31.234 visitas por versão, mais de 62.000 no total. Se basta detectar uma melhora de 20%, o número cai para 8.158. Você pode fazer esse cálculo com seus próprios dados na nossa calculadora.
Como ler o resultado: a significância estatística
Um teste A/B não se lê olhando qual versão tem mais conversões. Lê-se pela significância estatística: a probabilidade de que a diferença observada seja apenas fruto do acaso. O padrão é exigir 95% de confiança, ou seja, um valor p menor que 0,05.
Exemplo com dados. Uma loja testa um novo botão de compra:
| Versão | Visitas | Compras | Conversão |
|---|---|---|---|
| A (atual) | 10.000 | 500 | 5,0% |
| B (nova) | 10.000 | 560 | 5,6% |
A versão B converte 12% mais, mas o valor p é 0,058: não atinge 95% de confiança. Com essas visitas, a diferença ainda pode ser acaso. Se a loja mantiver o teste até 20.000 visitas por versão e a proporção se repetir (1.000 contra 1.120 compras), o valor p cai para 0,007 e o resultado passa a ser significativo.
A lição: um teste A/B com poucas visitas pode mostrar um "vencedor" que não existe.
Como fazer um teste A/B passo a passo
- Defina uma única métrica principal. Por exemplo, a taxa de compra. Se você mede dez coisas ao mesmo tempo, alguma vai "ganhar" por acaso.
- Escreva a hipótese. "Se mudarmos o botão para 'Comprar agora', a taxa de compra vai subir porque a chamada é mais clara."
- Calcule o tamanho da amostra com sua conversão atual e a melhora mínima que interessa.
- Divida o tráfego ao acaso em partes iguais, com uma ferramenta de testes ou da sua plataforma de e-commerce ou e-mail.
- Não olhe o resultado antes da hora. Parar o teste assim que aparece um vencedor é o erro mais comum: aumenta os falsos positivos. Rode pelo menos uma ou duas semanas completas para incluir dias úteis e fins de semana.
- Leia a significância e decida: implemente B, fique com A ou desenhe um novo teste.
- Documente o resultado, mesmo que B tenha perdido. Saber o que não funciona também é um dado.
Teste A/B e SEO: o que diz o Google
Testar versões de uma página não prejudica o posicionamento se for feito corretamente. As orientações do Google Search Central pedem três coisas: não mostrar ao Googlebot uma versão diferente da que as pessoas veem (isso é cloaking), usar rel="canonical" nas URLs alternativas apontando para a original e, se redirecionar para outra URL, usar um redirecionamento 302 (temporário), e não 301. Também recomenda encerrar o teste assim que houver resultado e remover os scripts e URLs de teste.
O que significa para você
- Teste antes de mudar: se menos de um terço das ideias funciona, um teste A/B evita lançar mudanças que não agregam ou que tiram vendas.
- Calcule a amostra antes de começar: com pouco tráfego, teste mudanças grandes (uma página inteira, uma oferta), e não detalhes como a cor de um botão, que exigem dezenas de milhares de visitas.
- Decida pela significância, não pela intuição: uma diferença de 12% pode não ser significativa. Confira o valor p antes de declarar um vencedor e deixe o teste rodar o tempo necessário.
Para ir além, veja o que é a tomada de decisão baseada em dados e como construir uma cultura data-driven na sua equipe.
Fontes
- Harvard Business Review, "The Surprising Power of Online Experiments" (2017)
- Bing, "Large Scale Experimentation at Bing" (2013)
- Google Search Central, práticas recomendadas para testes de sites
- Cálculos da InfoByData: teste z de duas proporções, com 95% de confiança e 80% de poder
- o que é um teste A/B
- teste A/B
- significância estatística
- tamanho de amostra
- taxa de conversão
- experimentos