Evitar conclusiones erróneas en las test A/B para garantizar la validez y utilidad de los resultados.
▶ Tamaño de la muestra y poder estadístico
– Determinar un tamaño de muestra adecuado.
– Alcanzar significación estadística.
▶ Tiempo que este en live.
– Duración apropiada para obtener conclusiones.
– No Detener el test demasiado pronto. (nos podemos llevar muchas sorpresas).
▶ Consistencia en las condiciones del test.
– Controlar variables externas.
– Segmentación Apropiada.
▶ Análisis Estadístico.
– Utiliza métodos estadísticos.
– No te bases solo en tendencias o diferencias aparentes, busca resultados que sean estadísticamente significativos.
▶ Repetición y validación.
– Repetir test ante cualquier duda o no concluyentes.
– Ente dudas realiza validación con diferentes métodos o datos.
▶ Interpretación cautelosa y contextualizada.
– Evita Sesgos de confirmación.
– Considera el contexto de forma amplia.
▶ Uso de métricas secundarias.
– Además de la métrica principal, observa las métricas secundarias para obtener una visión más completa del impacto del text.
Para evitar erróneas en las test A/B debemos contextualizar los resultados.