El p-value o valor p, es una medida estadística utilizada en los tests A/B para evaluar la significancia de los resultados obtenidos.
Representa la probabilidad de obtener una diferencia grande o más grande en el resultado del experimento, suponiendo que la hipótesis nula sea verdadera.
La hipótesis nula en un test A/B establece que no hay diferencia significativa entre las variantes que se están comparando.
El objetivo principal de un test, es recopilar datos para determinar si hay suficiente evidencia para rechazar o aceptar la hipótesis propuesta.
📌 El p-value se calcula a partir de los datos recopilados durante el test y se compara con un umbral predefinido, generalmente 0.05 o 0.01.
📌 Si el p-value es “menor que el umbral”, se considera que los resultados son estadísticamente significativos y se rechaza la hipótesis nula.
Esto indica que hay evidencia suficiente para concluir que existe una diferencia significativa entre las variantes.
📌 Si el p-value es “mayor que el umbral”, no se puede rechazar la hipótesis nula y se concluye que los resultados no son estadísticamente significativos.
En este caso, no se puede afirmar con certeza que hay una diferencia real entre las variantes propuestas.
❇ El p-value afecta el resultado de los tests A/B de la siguiente manera:❇
✅ -Si el p-value es bajo (menor que el umbral establecido):
Indica que los resultados son estadísticamente significativos y hay evidencia suficiente para afirmar que existe una diferencia entre las variantes.
En este caso, se puede proceder a implementar los cambios en la variante ganadora del test, ya que se espera que esta variante genere un impacto positivo en las métricas evaluadas.
❌ -Si el p-value es alto (mayor que el umbral establecido):
Indica que no hay suficiente evidencia para rechazar la hipótesis nula y afirmar que hay una diferencia significativa entre las variantes.
En este caso, no se debe implementar la variante ganadora del test, ya que los resultados podrían ser el resultado del azar y no de una diferencia real.
Es necesario realizar más pruebas o analizar otros factores antes de tomar decisiones basadas en los resultados del test.
🔸 Es importante tener en cuenta que el p-value no es la única medida para evaluar los resultados de un test A/B.
Es necesario considerar otros factores, como el tamaño de la muestra, la duración del test, el intervalo de confianza y el contexto del negocio.
Además, es fundamental entender que el p-value no proporciona información sobre la magnitud o relevancia práctica de la diferencia observada, solo indica si la diferencia es estadísticamente significativa.