Calculadora test A/B: significancia y tamaño de muestra
Escribe las visitas y conversiones de cada versión y descubre si la diferencia es real o casualidad, o calcula cuántas visitas necesitas antes de empezar.
Nivel de confianza
La versión B gana con 98,8% de confianza
Supera el 95% que elegiste: es poco probable que la diferencia sea casualidad.
Mejora relativa de B sobre A
+16,0%
Rango probable de la diferencia
0,17% a 1,43%
Nivel de confianza: 95%
Valor p
0,0123
Cálculo con una prueba z de dos proporciones (dos colas). No detengas el test apenas veas un resultado: decide el tamaño de muestra antes y respétalo.
Preguntas frecuentes sobre la calculadora test A/B
¿Qué es una calculadora test A/B?
Una calculadora test A/B es una herramienta que compara los resultados de dos versiones de una página, un anuncio o un correo y te dice si la diferencia entre ellas es real o puede ser pura casualidad. También calcula cuántas visitas necesitas antes de lanzar el test para que el resultado sea confiable.
¿Cómo usar la calculadora test A/B?
En la pestaña «¿Es significativo?», escribe las visitas y las conversiones de la versión A (la actual) y de la B (la nueva). La calculadora test A/B muestra al instante la tasa de conversión de cada una, la mejora de B sobre A y el nivel de confianza. Si la confianza supera el nivel que elegiste (por lo general 95%), la diferencia es estadísticamente significativa.
¿Qué significa que un resultado sea estadísticamente significativo?
Significa que es poco probable que la diferencia entre A y B se deba al azar. Con un nivel de confianza de 95%, aceptas un 5% de probabilidad de ver una diferencia que en realidad no existe. No significa que la mejora sea grande: una diferencia pequeña puede ser significativa si tienes muchas visitas.
¿Qué es el valor p?
El valor p es la probabilidad de ver una diferencia igual o mayor a la que obtuviste si en realidad A y B convirtieran igual. Mientras más bajo, más evidencia hay de que la diferencia es real. Con 95% de confianza, el resultado es significativo cuando el valor p es menor que 0,05.
¿Cómo calcular el tamaño de muestra de un test A/B?
En la pestaña «Tamaño de muestra» de la calculadora test A/B escribe tu tasa de conversión actual y la mejora mínima que te interesa detectar (por ejemplo, 10% relativo: de 5% a 5,5%). La herramienta calcula las visitas que necesita cada versión. Si agregas las visitas diarias de la página, también estima cuántos días debe durar el test.
¿Cuánto tiempo debe durar un test A/B?
Hasta llegar al tamaño de muestra que calculaste, y en semanas completas: el comportamiento cambia entre días hábiles y fines de semana. Detener el test apenas ves un ganador es uno de los errores más comunes, porque al mirar los datos muchas veces aumenta la probabilidad de encontrar una diferencia falsa.
¿Qué puedo probar con un test A/B?
Títulos, botones, imágenes, precios, formularios, el asunto de un correo o el texto de un anuncio. Prueba un cambio a la vez para saber qué causó la diferencia. Para medir de dónde llegan las visitas de cada campaña, usa nuestro generador de enlaces UTM.
¿Qué método usa esta calculadora?
La calculadora test A/B usa una prueba z de dos proporciones, de dos colas, que es el método estándar para comparar tasas de conversión. Para el tamaño de muestra usa la fórmula clásica con el nivel de confianza y la potencia estadística que elijas (80% o 90%). Con pocas conversiones (menos de 30 por versión) el cálculo pierde precisión y la herramienta te lo advierte.
¿La calculadora test A/B es gratis?
Sí. La calculadora test A/B es gratis, no requiere registro y funciona en tu navegador: tus datos no se envían a ningún servidor. Encuentra más guías para tomar decisiones con datos en la sección Data & Analytics.