En cualquier test estadístico, como un A/B test, tomamos decisiones basadas en datos bajo incertidumbre. Esto significa que siempre existe la posibilidad de cometer errores. Los dos tipos principales de errores que pueden ocurrir son:
- El error de tipo I, que ocurre cuando creemos que hay un efecto (rechazamos la hipótesis nula) cuando en realidad no lo hay. Es decir, hablamos de un falso positivo.
- El error de tipo II, que ocurre cuando no detectamos un efecto que sí existe . En este caso se trata de un falso negativo.
Comprender estos errores es fundamental para diseñar experimentos consitentes, tomar decisiones informadas y equilibrar adecuadamente el riesgo de pasar a producción cambios que no funcionan frente a dejar pasar mejoras reales.
Errores de tipo I
Un error de tipo I, también conocido como falso positivo, ocurre cuando rechazamos una hipótesis nula que en realidad es verdadera. En el contexto de un test A/B, esto significa que concluimos que hay una diferencia significativa entre dos variantes (por ejemplo, que la variante B es mejor que la A), cuando en realidad esa diferencia no existe y cualquier variación observada se debe al azar.
Cuando se realiza una prueba de hipótesis, se establece un nivel de significancia (?), típicamente 0.05 o 5%. Esto significa que hay un 5% de probabilidad de rechazar la hipótesis nula incluso si es verdadera. En otras palabras, hay un 5% de riesgo de cometer un error de tipo I.
Supón que estás probando un nuevo diseño en una homepage (variante B) frente al actual (variante A) y después del test decides lanzar B porque el p-valor del test fue menor a 0.05. Si en realidad no hay una mejora verdadera y la diferencia fue solo ruido estadístico, habrás cometido un error de tipo I: lanzaste una versión creyendo que era mejor, cuando en realidad no lo es.
Tasa de falsos positivos acumulada
Cuando se realizan muchos tests A/B, incluso si todas las hipótesis nulas son verdaderas (es decir, no hay ningún efecto real), un porcentaje de ellos arrojará resultados «significativos» simplemente por azar. Ese porcentaje es igual al nivel de significancia (por ejemplo, 5%).
Por ejemplo, si realizas 20 experimentos independientes con un ? = 0.05, estadísticamente se espera que 1 de ellos (el 5%) dé un resultado positivo aunque no haya efecto real.
En entornos donde se lanzan muchos tests (startups en fase de crecimiento, grandes ecommerces, productos con múltiples equipos iterando rápido), los falsos positivos se vuelven frecuentes si no se controlan. Esto puede llevar a tomar decisiones basadas en datos incorrectos, como lanzar features que no generan valor o incluso que degradan la experiencia del usuario.
P-hacking y análisis múltiples
P-hacking se refiere a manipular un experimento (conscientemente o no) para encontrar resultados «significativos». Esto puede incluir:
- Hacer múltiples cortes por segmento sin ajustar por ello.
- Mirar los resultados antes de tiempo y detener el test si parece prometedor.
- Probar distintas métricas hasta que alguna dé un p-valor bajo.
Esta (mala) práctica provoca un incremento artificial de errores tipo I y, por tanto, la toma de decisiones erróneas basadas en resultados que no se replicarán.
Errores de tipo II
Un error de tipo II, también conocido como falso negativo, ocurre cuando no se rechaza una hipótesis nula que en realidad es falsa. Es decir, el test falla en detectar un efecto real.
Supón que estás probando una nueva landing page (variante B) frente a la actual (variante A):
- La tasa de conversión real de B es mejor que la de A.
- Pero al hacer el test, el resultado no es estadísticamente significativo.
- Entonces no rechazas H? (dices que no hay diferencia), cuando en realidad sí la hay.
Esto es un error de tipo II y puede suponer consecuencias como no implementar una mejora real, perdiendo oportunidades de optimización.
¿Por qué se producen los errores de tipo II?
Hay algunas razones básicas.
La primera de ellas, y puede que la más habitual, es la poca potencia debida a una muestra pequeña o efecto esperado muy sutil. Pasa a menudo cuando se definimos una segmentación muy profunda sin un control de potencia por segmento.
La potencia de un test es la probabilidad de detectar un efecto real cuando este existe, es decir, la probabilidad de rechazar correctamente la hipótesis nula.
Si haces el test más estricto (reduces el nivel de significancia para minimizar falsos positivos), disminuyes la probabilidad de error tipo I, pero también reduces la potencia (más riesgo de no detectar efectos reales). Por otra parte, si aumentas la potencia (por ejemplo, con mayor tamaño de muestra), puedes mantener bajo el nivel de significancia sin sacrificar la capacidad de detectar efectos verdaderos.
Los errores de tipo II también se puede atribuir a una alta variabilidad en las métricas que estés usando. Por ejemplo métricas con mucho ruido, como revenue por sesión.
Frecuentemente se debe a una corta duración del test o a la interferencia con factores externos que no habías contemplado inicialmente, como por ejemplo la estacionalidad.
La mejor manera de mitigar estos errores es aumentar el tamaño de la muestra, usar métricas estables o con menor varianza, evitar los momentos con mayor ruido o estacionalidad, elegir un efecto mínimo detectable (MDE) realista y hacer análisis de potencia antes de poner en marcha el test.
Conclusión
Los errores de tipo I y II son inevitables en cualquier proceso de toma de decisiones bajo incertidumbre, pero pueden gestionarse mediante un buen diseño experimental.
Mientras que el error de tipo I nos lleva a actuar sobre una diferencia inexistente, el error de tipo II implica perder oportunidades de mejora reales. Entender este equilibrio y aplicar herramientas como el cálculo de potencia, la definición clara de hipótesis y el uso riguroso de métricas permite reducir riesgos, mejorar la calidad de los experimentos y, en última instancia, tomar decisiones más acertadas y con mayor impacto en el negocio.