Test A/B bien hecho: hipótesis, tamaño de muestra, significación y aprendizaje

Hace unos meses, en una reunión con el equipo de una tienda online, alguien defendía con pasión un botón verde frente al naranja de siempre. Otra persona prefería cambiar el titular de la portada. Llevaban dos semanas dándole vueltas. Les propusimos dejar de discutir y preguntarle a sus clientes. No con una encuesta, sino con un experimento: mostrar cada versión a una mitad del tráfico y ver qué pasaba.

Ese es el atractivo del test A/B. Convierte una discusión de gustos en una pregunta con respuesta. Pero la respuesta solo es fiable si el test está bien hecho, y ahí es donde muchos equipos tropiezan: lo paran demasiado pronto, prueban cambios demasiado pequeños o leen el resultado con más entusiasmo que rigor.

Esta guía recoge el método que usamos en el estudio, de principio a fin, con las cuentas incluidas. No hace falta ser estadístico para aplicarlo; sí hace falta respetar unas pocas reglas.

01Qué es un test A/B y cuándo tiene sentido

Un test A/B es un experimento controlado: repartes de forma aleatoria a las personas que visitan una página entre dos versiones (A, la actual, y B, la propuesta) y comparas una métrica, como la tasa de conversión. Como el reparto es aleatorio, cualquier diferencia significativa entre los grupos se puede atribuir al cambio que has hecho y no a la temporada, a la publicidad o a la casualidad.

Tiene sentido cuando se cumplen tres condiciones:

• →Tienes una pregunta concreta. No «¿mejoramos la portada?», sino «¿el formulario de un paso consigue más solicitudes que el de tres?».
• →Tienes tráfico suficiente. Lo calculamos más abajo, y la cifra suele sorprender.
• →El resultado cambiará una decisión. Si vas a implantar la versión B pase lo que pase, el test sobra.

Cuando no se cumplen, hay herramientas más adecuadas: un test de usabilidad, el análisis de mapas de calor y grabaciones o, simplemente, aplicar buenas prácticas conocidas. Un test A/B es una herramienta potente, no la única.

02Paso 1: una hipótesis que merezca la pena

Todo test empieza por una hipótesis, y la calidad de la hipótesis decide cuánto aprenderás. Una hipótesis útil se apoya en una observación, propone un cambio concreto y predice un efecto medible. Usamos esta plantilla:

Hemos observado que [dato o hallazgo cualitativo].
Creemos que [cambio concreto] para [público]
conseguirá [efecto esperado en la métrica principal]
porque [razón basada en lo observado].
Lo sabremos si [métrica principal] mejora al menos [efecto mínimo]
sin empeorar [métricas de control].

Un ejemplo completo: «Hemos observado en las grabaciones que muchas personas abandonan el formulario de presupuesto en el campo de metros cuadrados, y en las entrevistas dicen que no lo saben. Creemos que hacer ese campo opcional y ofrecer rangos aproximados para quienes reforman su vivienda conseguirá más solicitudes enviadas, porque elimina una pregunta que bloquea. Lo sabremos si la tasa de envío mejora al menos un 15 % relativo sin que baje la proporción de solicitudes que acaban en visita.»

Fíjate en la última parte. Las métricas de control (o guardrails) son las que vigilas para que una mejora en un sitio no empeore otro. Si más gente envía el formulario pero llegan solicitudes de peor calidad, quizá no hayas ganado nada.

03Paso 2: calcular el tamaño de muestra antes de empezar

Este es el paso que más se salta y el que más importa. El tamaño de muestra depende de tres cosas:

• →La tasa de conversión actual de la página (la línea base).
• →El efecto mínimo detectable (MDE): la mejora más pequeña que te interesa detectar. Cuanto más pequeña, más tráfico necesitas.
• →El nivel de significación y la potencia. Lo habitual es un 95 % de confianza (α = 0,05) y un 80 % de potencia, que es la probabilidad de detectar el efecto si existe.

Para una estimación rápida con esos valores estándar, la regla de Lehr ofrece una aproximación sencilla por variante: n ≈ 16 × p × (1 − p) / δ², donde p es la tasa de conversión actual y δ la diferencia absoluta que quieres detectar.

Un ejemplo con números

Una página de reserva convierte al 3 % y quieres detectar una mejora del 20 % relativo, es decir, pasar del 3 % al 3,6 %. La diferencia absoluta es 0,006.

1. 01p × (1 − p) = 0,03 × 0,97 = 0,0291
2. 02δ² = 0,006 × 0,006 = 0,000036
3. 03n ≈ 16 × 0,0291 / 0,000036 ≈ 12.900 visitas por variante

En total, unas 26.000 visitas a esa página. Si recibe 1.000 al día, el test necesita casi cuatro semanas. Si quisieras detectar una mejora del 10 % relativo, la cifra se multiplicaría aproximadamente por cuatro. Las calculadoras de tamaño de muestra que incluyen herramientas como VWO, Optimizely o la de Evan Miller hacen esta cuenta con más precisión, pero el orden de magnitud es este.

Clave: decide el tamaño de muestra y la duración antes de lanzar el test, y no lo detengas hasta llegar a ellos aunque el resultado parezca evidente a los pocos días.

04Paso 3: preparar y lanzar el test con garantías

Con la hipótesis y la muestra definidas, toca montarlo. Esta es nuestra lista de comprobación antes de pulsar el botón:

1. 01Una sola variable principal. Si cambias titular, imagen y botón a la vez, sabrás si la versión B gana, pero no por qué. A veces interesa probar un rediseño completo; en ese caso, asume que el aprendizaje será global.
2. 02Reparto 50/50 y aleatorio, con la misma persona viendo siempre la misma versión.
3. 03Seguimiento verificado. Comprueba que la métrica principal se registra igual en las dos versiones, en todos los navegadores y dispositivos.
4. 04Sin parpadeos. Si la versión A aparece un instante antes de cambiar a la B (el llamado flicker), el test se contamina. El reparto en el servidor lo evita; en Next.js, por ejemplo, se puede hacer en el middleware.
5. 05Semanas completas. Empieza y termina el mismo día de la semana, y cubre al menos un ciclo completo de tu negocio.
6. 06Calendario despejado. Evita lanzar el test en plena campaña de rebajas o con un cambio de precios en marcha.
7. 07Consentimiento revisado. Si la herramienta usa cookies o identificadores, debe respetar el banner de consentimiento.

Desde que Google cerró Optimize en septiembre de 2023, las herramientas más habituales son VWO, Optimizely, AB Tasty y Convert, y en código abierto GrowthBook y PostHog. Para medir, lo ideal es que los eventos del test lleguen también a tu analítica; en medir una web con GA4 explicamos cómo estructurar esos eventos.

05Paso 4: leer el resultado con honestidad

Llega el momento de mirar los datos. Esta es la parte donde más fácil es engañarse, así que conviene hacerlo con método.

Comprueba primero que el test es válido

Antes de mirar quién gana, revisa el reparto. Si has configurado un 50/50 y una variante tiene 10.400 visitas y la otra 9.200, hay un desequilibrio de muestra (sample ratio mismatch) que suele indicar un fallo técnico. En ese caso el resultado no es fiable, sea cual sea.

Lee el efecto, no solo la significación

Un resultado «significativo al 95 %» significa que la diferencia sería improbable si las dos versiones fueran iguales. No dice si la mejora es grande. Mira siempre:

• →El efecto observado: cuánto mejora la métrica, en relativo y en absoluto.
• →El intervalo de confianza: el rango en el que probablemente está el efecto real. Una mejora del 12 % con un intervalo de entre el 1 % y el 23 % se lee muy distinto que una con un intervalo de entre el 10 % y el 14 %.
• →Las métricas de control: que ninguna haya empeorado de forma relevante.

Mira los datos al final, no cada día

Consultar el resultado cada día y parar en cuanto aparece la significación (el llamado peeking) multiplica la probabilidad de falsos positivos. Si necesitas poder parar antes, usa herramientas con métodos secuenciales diseñados para ello. Y revisa dos veces los resultados espectaculares: Ronny Kohavi, que dirigió la experimentación en Microsoft y Airbnb, recuerda en su libro Trustworthy Online Controlled Experiments la ley de Twyman, según la cual cualquier cifra que parece demasiado interesante suele ser un error.

Segmenta con prudencia

Es tentador buscar el segmento en el que gana la variante B («en móvil y los martes»). Si buscas en suficientes segmentos, alguno saldrá significativo por pura casualidad. Usa la segmentación para generar hipótesis nuevas, no para declarar ganadores.

Decide con antelación qué harás con cada resultado

Nos ayuda mucho acordar antes de lanzar qué decisión tomará el equipo en cada escenario, para que el resultado no se reinterprete a conveniencia:

• →Gana B con un efecto relevante y las métricas de control estables: se implanta B y se documenta por qué creemos que ha funcionado.
• →Resultado neutro: las dos versiones rinden parecido dentro del margen que el test podía detectar. Se elige la más sencilla de mantener o la más coherente con la marca, y se busca una hipótesis más ambiciosa.
• →Gana A: la intuición no se confirmaba. Es un aprendizaje valioso, porque te ahorra implantar un cambio que habría restado.

06Con poco tráfico: alternativas que sí funcionan

La mayoría de webs de pymes reciben menos tráfico del que un test clásico necesita. No pasa nada; hay formas inteligentes de experimentar igualmente.

Probar cambios grandes tiene una ventaja añadida: obliga a pensar en lo que de verdad importa. Un titular que explica mejor la propuesta de valor suele mover más la aguja que el color de un botón. Si buscas ideas con impacto, la guía de llamadas a la acción que funcionan es un buen punto de partida.

07El aprendizaje es el verdadero resultado

Un test que pierde no es un fracaso. Si la hipótesis estaba bien planteada, has aprendido algo sobre tus clientes que antes no sabías. Por eso recomendamos documentar cada experimento en una ficha breve: hipótesis, capturas de las versiones, fechas, muestra, resultado con intervalo y, sobre todo, qué has aprendido y qué harás después. Con el tiempo, ese registro se convierte en uno de los activos más valiosos de la marca: un mapa de lo que funciona con tu público.

Conviene también volver a medir pasado un tiempo. Algunas variantes ganan por novedad, porque llaman la atención de quien ya conocía la web, y su efecto se suaviza con las semanas. Si quieres conectar estos experimentos con indicadores de experiencia más amplios, en métricas de UX con el modelo HEART explicamos cómo hacerlo.

En SIMA planteamos la experimentación como parte del marketing digital y del diseño continuo de cada web: investigar, proponer, probar y aprender, siempre con el criterio del equipo por delante de los números. Si quieres que te ayudemos a diseñar tu primer test o a ordenar los que ya haces, escríbenos.