El modelo bayesiano es un enfoque estadístico que utiliza el Teorema de Bayes para analizar los resultados de un test y proporcionar de forma más intuitiva de interpretar la probabilidad de que una variante es mejor.
A diferencia de otros enfoques estadísticos tradicionales, que se basan en valores p y niveles de confianza, el modelo bayesiano se centra en la probabilidad posterior de éxito de cada variante en función de los datos o información previa de la que ya disponemos.
Cómo funciona el modelo bayesiano en un test A/B:
▶ Información previa (prior):
Antes de realizar el test A/B, es posible que ya tengas cierta información previa sobre las variantes o métricas que estás evaluando.
Esta información previa se conoce como prior y puede basarse en datos históricos, investigaciones anteriores o conocimientos expertos.
▶ Recopilación de datos.
Durante el test A/B, se recopilan datos de cada variante en relación con las métricas específicas que se están seleccionado como objetivo.
▶ Cálculo de la probabilidad posterior.
Utilizando el Teorema de Bayes, se combina la información previa con los datos observados para calcular la probabilidad posterior de éxito de cada variante.
Esta probabilidad posterior representa la probabilidad actualizada de que una variante sea mejor que otra en función de los datos del experimento y de la información previa.
▶ Inferencia y toma de decisiones.
Con base en las probabilidades posteriores calculadas, se puede realizar inferencia y tomar decisiones sobre qué variante es más probable que sea la mejor en términos de la métrica específica evaluada.
Esto proporciona una evaluación más intuitiva y práctica de las probabilidades relativas de éxito entre las variantes.
✔ Ejemplo:
Supongamos que tienes una ecommerce y estás realizando un test A/B para evaluar dos variantes diferentes en PDP (página de producto) con el objetivo de medir su % de conversión.
Antes de comenzar el test A/B, ya tienes información previa del % de conversión medio histórica en tu activo digital es del 3%.
▪ Prior (información previa): Probabilidad de conversión del 3%.
▪ Datos observados: Después de realizar el test A/B durante una semana, obtienes los siguientes datos:
✅ Variante A: Tasa de conversión del 4.5%.
✅ Variante B: Tasa de conversión del 4.8%.
▪ Cálculo de la probabilidad posterior:
Utilizando el Teorema de Bayes, se calcula la probabilidad posterior de éxito para cada variante en función de la información previa y los datos observados.
▪ Inferencia y toma de decisiones:
Basándote en las probabilidades posteriores calculadas, concluyes que la Variante B tiene una mayor probabilidad de ser la mejor, ya que tiene una tasa de conversión más alta.
El modelo bayesiano ofrece una manera más flexible y fácil de analizar los resultados de un test A/B, especialmente cuando se dispone de información previa relevante sobre la que se realiza el test.