En el mundo del CRO, obtener números es bastante fácil. Otra cosa no, pero data tenemos a patadas.
Lo difícil es obtener unos números en los que podamos confiar.
El p-hacking y la interpretación errónea de la significancia estadística son los asesinos silenciosos de la innovación real, ya que nos llevan a implementar cambios que no aportan valor o, peor aún, que dañan el negocio.
Torturando los datos hasta que confiesen
El p-hacking ocurre cuando los investigadores intentan diferentes supuestos estadísticos o pruebas hasta que encuentran una manera de forzar el valor p por debajo del umbral crítico de 0.05.
Ese valor es una referencia de la industria que revela que es poco probable que los resultados del experimento sean fruto de la casualidad.
Quienes nos dedicamos al growth debemos evitar estas variantes de p-hacking comunes y, a menudo, involuntarias:
- Miradas furtivas (Peeking): Monitorizar continuamente los valores p con la intención de detener el test en cuanto se alcanza la significancia. Esto infla masivamente la tasa de falsos positivos. Para evitarlo, debemos usar una duración de experimento predeterminada (p.ej. ciclos semanales completos) o frameworks de pruebas secuenciales/bayesianas.
- Dragado de datos (Data dredging): Si analizamos suficientes segmentos o métricas sin un plan previo, eventualmente encontraremos algo significativo por puro azar. Si calculamos 100 métricas irrelevantes, estadísticamente 5 parecerán significativas aunque no haya efecto real.
- Abuso de la segmentación post-hoc: Buscar un segmento (p. ej. usuarios de iPhone en Madrid los martes) que sea significativo cuando el resultado global no lo es. Solo debemos actuar sobre segmentos pre-seleccionados basados en características de usuario o dispositivo determinadas antes del experimento.
Otros peligros para la validez de los experimentos
No todo es p-hacking. Hay errores que pueden pasar inadvertidos con el uso de calculadoras de resultados demasiado simples (la típica fórmula en un Google Sheets).
- Sample Ratio Mismatch (SRM): Si el diseño pide una división 50/50 y recibimos una proporción de 0.993, la probabilidad de que esto ocurra por azar es menor a 1 entre 500,000. Un SRM bajo suele indicar errores de instrumentación o bugs del sistema de split que invalidan todas las demás métricas.
- Sesgo de supervivencia: Analizar solo a usuarios que han estado activos durante mucho tiempo (p. ej. dos meses), lo cual excluye a los usuarios insatisfechos y deja de ser una muestra representativa.
- Efectos de novedad y primacía: Un cambio llamativo puede atraer clics inicialmente (el famoso efecto novedad), pero el efecto decae rápidamente. Por el contrario, cambios profundos en la interfaz pueden causar rechazo inicial (primacía) hasta que el usuario se adapta. Los tests deben correr el tiempo suficiente para que estos efectos se estabilicen.
Diferencia entre significancia estadística y significancia práctica
Es un error frecuente confundir que un resultado sea estadísticamente significativo con que sea importante para el negocio. Con muestras muy grandes, como por ejemplo 1 millón de usuarios, podemos detectar diferencias minúsculas que no cubren ni el coste de ejecución del test.
- Significancia estadística: Nos dice qué tan probable es que el patrón observado sea ruido aleatorio.
- Significancia práctica (o impacto): Evalúa si el tamaño del efecto (como puede ser el aumento de ingresos por usuario) justifica el lanzamiento frente a los costes de mantenimiento y riesgos de ingeniería.
Ley de Twyman y la cultura del escepticismo
Como norma de oro en nuestro equipo, aplicamos la Ley de Twyman: «Cualquier cifra que parezca interesante o diferente suele ser un error«.
Cuanto más inusual sea el resultado, más probable es que se deba a fallos en el registro de datos, duplicados o errores de cálculo. Hace un tiempo hablé de ello en Linkedin.
Antes de celebrar un éxito masivo, debemos intentar refutarlo. Solo así construiremos un crecimiento sostenible y basado en evidencias sólidas.