El poder estadístico, o la probabilidad de que el test detecte correctamente una diferencia real entre dos variantes, si esa diferencia realmente existe.
En otras palabras, es la capacidad del test para evitar un error de Tipo II (falso negativo), donde el test falla en identificar una diferencia significativa cuando en realidad sí hay una.
▶ Relación, tamaño de la Muestra.
El poder estadístico está fuertemente influenciado por el tamaño de la muestra de tu test.
Un tamaño de muestra mayor generalmente aumenta la potencia estadística, mejorando la capacidad del test para detectar diferencias significativas.
▶ Relación, efecto tamaño.
La potencia también depende del tamaño del efecto que estás tratando de detectar.
Un efecto más grande (como un cambio significativo en la tasa de conversión) es más fácil de detectar que un efecto más pequeño, y por lo tanto requiere un tamaño de muestra menor para lograr la misma potencia estadística.
▶ Umbral de Potencia Estadística.
En la práctica, una potencia estadística del 80% se considera a menudo un estándar aceptable.
Esto significa que hay un 80% de probabilidad de detectar una diferencia real si existe.
Sin embargo, en algunos contextos, especialmente en aquellos donde las decisiones tienen consecuencias de alto riesgo, se puede buscar una potencia estadística aún mayor.
▶ Errores de Tipo I y Tipo II.
La potencia estadística está relacionada con el equilibrio entre los errores de Tipo I y Tipo II.
Mientras que un umbral de significancia estadística más bajo (como un valor p de 0.01 en lugar de 0.05) reduce el riesgo de un error de Tipo I (falso positivo), aumentar la potencia estadística reduce el riesgo de un error de Tipo II.
▶ Cálculo de la Potencia Estadística.
La potencia estadística se puede calcular antes de realizar un test A/B, para determinar el tamaño de muestra necesario.
Esto implica estimar el tamaño del efecto esperado, el nivel de significancia estadística deseado (valor p), y el nivel de potencia estadística que quieres alcanzar.
La potencia estadística asegura que tu test A/B sea fiable y útil.
Un test con baja potencia estadística puede llevar a la conclusión errónea de que no hay diferencia entre las variantes cuando, de hecho, una diferencia importante podría existir.
Por lo tanto, al planificar tests A/B, es importante considerar tanto la significancia estadística como la potencia estadística para obtener resultados fiables.