Qué es un test A/B y cómo hacerlo paso a paso: ejemplo con datos reales (2026)
Qué es un test A/B: comparar dos versiones con tráfico real para ver cuál convierte más. Con 5% de conversión necesitas 31.234 visitas por cada versión.
· 5 min de lectura
Un cambio en la forma de mostrar los titulares de los anuncios de Bing aumentó sus ingresos en 12%, más de US$ 100 millones al año solo en Estados Unidos, según contó en Harvard Business Review Ronny Kohavi, quien dirigía la experimentación en Microsoft. La idea había estado meses en espera porque nadie creía en ella. La encontraron con un test A/B.
Entender qué es un test A/B sirve para decidir con evidencia y no por intuición. En esta guía explicamos cómo funciona, cuántas visitas necesitas, cómo leer el resultado y cómo hacerlo paso a paso, con un ejemplo con números.
12%
Aumento de ingresos en Bing
por un cambio en los titulares de anuncios
250
Experimentos al día en Bing
más de 250 en paralelo, 2013
1 de 3
Ideas que mejoran la métrica
o menos, según Microsoft
31.234
Visitas por versión
con 5% de conversión y +10% de mejora
Fuente: Harvard Business Review, 2017; Bing, 2013; cálculo de InfoByData
Ver los datos en una tabla
| Aumento de ingresos en Bing | 12% | por un cambio en los titulares de anuncios |
| Experimentos al día en Bing | 250 | más de 250 en paralelo, 2013 |
| Ideas que mejoran la métrica | 1 de 3 | o menos, según Microsoft |
| Visitas por versión | 31.234 | con 5% de conversión y +10% de mejora |
Qué es un test A/B
Un test A/B (o prueba A/B) es un experimento en el que muestras dos versiones de algo, la actual (A) y una alternativa (B), a grupos de personas elegidos al azar, y mides cuál logra mejor resultado en una métrica definida de antemano: compras, registros, clics o ingresos.
La clave es el azar. Como cada persona cae en A o en B por sorteo, los dos grupos son comparables, y la diferencia en el resultado se puede atribuir al cambio y no a la hora del día, la campaña o el tipo de cliente. Por eso un test A/B entrega una prueba de causa y efecto, algo que un informe de analítica por sí solo no puede dar.
Se puede probar casi cualquier cosa: el texto de un botón, el precio de envío, el asunto de un correo, el orden de un formulario o el diseño de una página completa.
Por qué hacer tests A/B: la mayoría de las ideas no funciona
La razón más fuerte para probar es que nuestras intuiciones fallan seguido. En un artículo del blog de Bing, Microsoft explicó que menos de un tercio de las ideas que prueba mueve las métricas que buscaba mejorar, y que en un producto muy optimizado, como su buscador, la proporción es todavía menor.
Esa misma publicación muestra la escala: Bing tenía más de 250 experimentos corriendo cada día, y casi cada usuario participaba en unos 15 a la vez. Una prueba con los enlaces de los anuncios mejoró los ingresos en "decenas de millones de dólares al año" sin afectar la experiencia de los usuarios.
Para una empresa pequeña la lección es la misma: si dos de cada tres cambios no mejoran nada (o empeoran), lanzar sin medir significa acumular cambios que no aportan.
Cuántas visitas necesitas: el tamaño de muestra
Antes de empezar hay que calcular cuántas visitas necesita cada versión. Depende de dos datos: tu tasa de conversión actual y la mejora mínima que te interesa detectar. Mientras más baja la conversión y más pequeña la mejora, más visitas necesitas.
- Para detectar +10%
- Para detectar +20%
Fuente: Cálculo de InfoByData con 95% de confianza y 80% de potencia
Ver los datos en una tabla
| Para detectar +10% | Para detectar +20% | |
|---|---|---|
| Conversión de 2% | 80.682 | 21.109 |
| Conversión de 5% | 31.234 | 8.158 |
| Conversión de 10% | 14.751 | 3.841 |
Con una conversión de 5%, detectar una mejora de 10% (de 5% a 5,5%) exige 31.234 visitas por versión, más de 62.000 en total. Si te basta con detectar una mejora de 20%, la cifra baja a 8.158. Puedes hacer este cálculo con tus propios datos en nuestra calculadora.
Cómo leer el resultado: la significancia estadística
Un test A/B no se lee mirando cuál versión tiene más conversiones. Se lee con la significancia estadística: la probabilidad de que la diferencia que ves sea solo producto del azar. El estándar es exigir 95% de confianza, es decir, un valor p menor a 0,05.
Ejemplo con datos. Una tienda prueba un nuevo botón de compra:
| Versión | Visitas | Compras | Conversión |
|---|---|---|---|
| A (actual) | 10.000 | 500 | 5,0% |
| B (nueva) | 10.000 | 560 | 5,6% |
La versión B convierte 12% más, pero el valor p es 0,058: no alcanza el 95% de confianza. Con esas visitas, la diferencia todavía podría ser azar. Si la tienda mantiene la prueba hasta 20.000 visitas por versión y la proporción se repite (1.000 frente a 1.120 compras), el valor p baja a 0,007 y el resultado sí es significativo.
La lección: un test A/B con pocas visitas puede mostrar un "ganador" que no existe.
Cómo hacer un test A/B paso a paso
- Define una sola métrica principal. Por ejemplo, la tasa de compra. Si mides diez cosas a la vez, alguna saldrá "ganadora" por azar.
- Escribe la hipótesis. "Si cambiamos el botón a 'Comprar ahora', la tasa de compra subirá porque el llamado es más claro."
- Calcula el tamaño de muestra con tu conversión actual y la mejora mínima que te interesa.
- Reparte el tráfico al azar en partes iguales, con una herramienta de testing o de tu plataforma de e-commerce o correo.
- No mires el resultado antes de tiempo. Detener la prueba apenas aparece un ganador es el error más común: infla los falsos positivos. Corre al menos una o dos semanas completas para incluir días hábiles y fines de semana.
- Lee la significancia y decide: implementa B, quédate con A o diseña una nueva prueba.
- Documenta el resultado, incluso si B perdió. Saber qué no funciona también es un dato.
Test A/B y SEO: qué dice Google
Probar versiones de una página no perjudica el posicionamiento si se hace bien. Las indicaciones de Google Search Central piden tres cosas: no mostrarle a Googlebot una versión distinta de la que ven las personas (eso es cloaking), usar rel="canonical" en las URL alternativas apuntando a la original y, si rediriges a otra URL, usar una redirección 302 (temporal) y no una 301. También recomienda terminar la prueba en cuanto haya resultado y retirar los scripts y URL de prueba.
Qué significa para ti
- Prueba antes de cambiar: si menos de un tercio de las ideas funciona, un test A/B evita lanzar cambios que no aportan o que restan ventas.
- Calcula la muestra antes de empezar: con poco tráfico, prueba cambios grandes (una página completa, una oferta) y no detalles como el color de un botón, que requieren decenas de miles de visitas.
- Decide con significancia, no con la intuición: una diferencia de 12% puede no ser significativa. Revisa el valor p antes de declarar un ganador y deja correr la prueba el tiempo necesario.
Para ir más allá, revisa qué es la toma de decisiones basada en datos y cómo construir una cultura data-driven en tu equipo.
Fuentes
- Harvard Business Review, "The Surprising Power of Online Experiments" (2017)
- Bing, "Large Scale Experimentation at Bing" (2013)
- Google Search Central, prácticas recomendadas para pruebas de sitios web
- Cálculos de InfoByData: prueba z de dos proporciones, con 95% de confianza y 80% de potencia
- qué es un test A/B
- test A/B
- significancia estadística
- tamaño de muestra
- tasa de conversión
- experimentos