Un test AA, a diferencia de un test A/B, es una técnica utilizada en analítica y optimización, para comprobar la fiabilidad de un procedimiento de testeo.
En un test AA, en lugar de comparar dos versiones diferentes de una página web o elemento (como en un test A/B), se comparan dos versiones idénticas.
El propósito de esto es verificar que el sistema de testeo no produce diferencias significativas cuando, en realidad, no debería haber ninguna, ya que ambas versiones son exactamente iguales.
▶ Propósito del Test AA.
1. Asegura que la herramienta o el software que estás utilizando para realizar test A/B funciona correctamente y no introduce sesgos o errores.
2. Comprobar la variabilidad aleatoria, indica el nivel de variabilidad aleatoria en tus datos. Incluso cuando se comparan dos muestras idénticas, siempre habrá alguna variabilidad debido al azar.
3. Proporciona una línea de base para lo que se puede esperar en términos de variación aleatoria, lo que es útil para interpretar los resultados de futuros tests A/B.
▶ Cómo funciona.
– Se divide el tráfico o la audiencia en dos grupos de manera aleatoria.
– Ambos grupos son expuestos exactamente al mismo tratamiento, es decir, no hay ninguna diferencia entre las experiencias de los dos grupos.
– Se analizan los resultados para ver si hay alguna diferencia significativa en el comportamiento entre los dos grupos.
▶ Interpretación de Resultados.
– No tener diferencias significativas, esto es lo esperado y sugiere que la herramienta de testeo es precisa y que cualquier diferencia significativa en un test A/B real probablemente se deba a los cambios realizados y no a un error en la herramienta o al azar.
– Tener diferencias significativas, si se encuentran diferencias significativas en un test AA, esto puede indicar problemas con la herramienta de testeo o con el proceso de selección aleatoria.
Esto requiere una investigación adicional para asegurarse de que los futuros tests A/B sean fiables.
Realizar test AA es importante para garantizar que las decisiones basadas en test A/B serán fiables.
Si un test ab muestra mejoras, deberemos estar seguros de que estas mejoras son reales y no el resultado de un error en el proceso de testeo.