Calculadora de significancia A/B
Compara dos variantes (A/B) de un anuncio, landing page, email o experimento y calcula si la diferencia en su tasa de conversión o CTR es estadísticamente significativa, o podría deberse solo al azar.
Calculadora
B convierte al 15,0%, frente al 10,0% de A — una diferencia de 5,0% en puntos porcentuales (50,0% en términos relativos).
Esto no declara un “ganador definitivo”. Un resultado significativo indica que la diferencia observada es poco probable que se deba solo al azar, con los datos que tienes hasta ahora — no es una garantía sobre el comportamiento futuro de A o B.
Significancia estadística no es lo mismo que importancia para tu negocio. Una diferencia puede ser estadísticamente significativa y aun así ser demasiado pequeña para merecer el esfuerzo de cambiar algo — mira siempre la diferencia absoluta y relativa, no solo si el resultado se marca como significativo.
Decide de antemano cuántos visitantes vas a esperar antes de mirar el resultado — comprobarlo repetidamente y detener el experimento en cuanto se marque como “significativo” infla la probabilidad de un falso positivo.
¿Qué significa la significancia estadística?
Cuando comparas dos variantes con datos reales, la diferencia entre ellas nunca es perfectamente limpia: aunque A y B fueran exactamente iguales, dos muestras distintas casi nunca dan resultados idénticos por puro azar. La significancia estadística responde a una pregunta muy concreta: si A y B fueran en realidad iguales, ¿qué probabilidad habría de ver una diferencia tan grande (o mayor) solo por azar? Esa probabilidad es el p-value.
Esta calculadora usa un test de dos proporciones (z-test), el método estándar para comparar dos tasas de conversión, CTR o cualquier ratio de éxito/intento entre dos grupos independientes.
Ejemplo: A convierte al 10% (100 de 1.000 visitantes) y B al 15% (150 de 1.000). El p-value de esa diferencia es muy bajo (bastante por debajo del 5%) — poco probable que sea solo azar, así que se marca como significativa al 95% de confianza.
No lo confundas con
- Probabilidad de que B sea mejor — el p-value no es “la probabilidad de que B gane”. Es la probabilidad de ver esta diferencia (o una mayor) si en realidad no hubiera ninguna diferencia entre A y B.
- CTR o tasa de conversión — esas calculadoras te dan la tasa de una sola variante. Esta te dice si la diferencia entre dos tasas es real o podría ser ruido estadístico.
Preguntas frecuentes
¿Esta calculadora me dice cuál variante debo usar?
No declara un ganador definitivo. Te dice si la diferencia observada es poco probable que se deba solo al azar, con los datos que tienes hasta ahora — la decisión final es tuya, y depende también de si esa diferencia es relevante para tu negocio, no solo de si es estadísticamente significativa.
¿Qué es el p-value?
La probabilidad de observar una diferencia así de grande (o mayor) entre A y B si en realidad no hubiera ninguna diferencia real entre ellas. Un p-value bajo significa que es poco probable que la diferencia observada sea solo azar — no es "la probabilidad de que B sea mejor".
¿Qué nivel de confianza debo elegir?
95% es el más usado por convención, no porque sea el único correcto. Exigir más confianza (99%) hace más difícil marcar un resultado como significativo; exigir menos (90%) lo facilita, a cambio de un mayor riesgo de falso positivo.
¿Por qué avisa de tamaño de muestra bajo?
El cálculo asume que la distribución de las tasas se aproxima a una normal, una aproximación que deja de ser fiable con muestras muy pequeñas (menos de 5 conversiones o no-conversiones esperadas en algún grupo, la regla estándar de cualquier libro de estadística). El resultado se sigue mostrando, pero con menos garantías.
¿Puedo usar los mismos datos para CTR o tasa de conversión?
Sí — introduce visitantes/impresiones como base y conversiones/clics como éxitos, sea cual sea la métrica que estés comparando entre dos variantes.