Pruebas A/A

¿Qué son las pruebas A/A?

La prueba A/A es la táctica de usar la prueba A/B para probar dos versiones idénticas de una página entre sí. Por lo general, esto se hace para verificar que la herramienta que se utiliza para ejecutar el experimento sea estadísticamente justa. En una prueba A/A, la herramienta no debe informar ninguna diferencia en las conversiones entre el control y la variación, si la prueba se implementa correctamente.

¿Por qué son importantes las pruebas A/A?

¿Por qué querrías ejecutar una prueba donde la variación y el original son idénticos?

En algunos casos, es posible que desee usar esto para monitorear la cantidad de conversiones en la página donde está ejecutando la prueba A/A para rastrear la cantidad de conversiones y determinar la tasa de conversión de referencia antes de comenzar una prueba A/B o multivariante.

En la mayoría de los demás casos, la prueba A/A es un método para verificar dos veces la efectividad y precisión del software de prueba A/B. Debe observar si el software informa que existe una diferencia estadísticamente significativa (>95 % de significación estadística) entre el control y la variación. Si el software informa que hay una diferencia estadísticamente significativa, eso es un problema y querrá verificar que el software esté implementado correctamente en su sitio web o aplicación móvil.

Cosas a tener en cuenta con las pruebas A/A

Al ejecutar una prueba A/A, es importante tener en cuenta que encontrar una diferencia en la tasa de conversión entre páginas de prueba y de control idénticas siempre es una posibilidad. Esto no es necesariamente un mal reflejo de la plataforma de pruebas A/B, ya que siempre hay un elemento de aleatoriedad cuando se trata de pruebas.

Cuando ejecute cualquier prueba A/B, tenga en cuenta que la importancia estadística de sus resultados es una probabilidad, no una certeza. Incluso un nivel de significación estadística del 95 % representa una probabilidad de 1 en 20 de que los resultados que está viendo se deban al azar. En la mayoría de los casos, su prueba A/A debería informar que la mejora de la conversión entre el control y la variación no es estadísticamente concluyente, porque la verdad subyacente es que no hay ninguna que encontrar.

Motor de estadísticas Optimizely y pruebas A/A

Al ejecutar una prueba A/A con Optimizely, en la mayoría de los casos, puede esperar que los resultados de la prueba no sean concluyentes: la diferencia de conversión entre las variaciones no alcanzará la significación estadística. De hecho, la cantidad de pruebas A/A que muestren resultados no concluyentes será al menos tan alta como el umbral de importancia establecido en la Configuración del proyecto (90 % de manera predeterminada).

En algunos casos, sin embargo, es posible que vea que una variación está superando a otra o incluso que se declara un ganador para uno de sus objetivos. El resultado concluyente de este experimento ocurre puramente por casualidad y debería ocurrir solo en el 10 % de los casos, si ha establecido su umbral de significación en el 90 %. Si su umbral de significación es más alto (digamos 95 %), sus posibilidades de encontrar una prueba A/A concluyente son aún menores (5 %).

Para obtener más detalles sobre los métodos estadísticos y el motor de estadísticas de Optimizely, consulte Cómo ejecutar e interpretar una prueba A/A.