Un resultado puede verse impresionante y ser irrelevante. «Seis aceptaron» no significa mucho si no sabemos a cuántos se les ofreció participar, quiénes eran y qué ocurrió después. El análisis de experimentos combina cálculo correcto, lectura del contexto y cautela ante explicaciones alternativas [R09][R17].

Primero identifica la pregunta y el tipo de datos

Los datos cualitativos describen conductas, obstáculos, motivaciones y relatos. Los cuantitativos cuentan eventos, tiempos y respuestas estandarizadas. Son complementarios: una tasa revela cuánto ocurrió en una muestra, mientras la observación puede explicar por qué. Un estudio cualitativo con pocos participantes no debe presentarse como una estimación precisa de toda una población [R17].

Limpieza y trazabilidad antes de calcular

Verifica IDs duplicados, fechas, criterios de elegibilidad, eventos faltantes, cambios de protocolo y observaciones registradas bajo condiciones distintas. Decide cómo tratar registros incompletos y deja la decisión documentada. No completes datos ausentes suponiendo que todos fueron fracasos o éxitos. El registro original se explica en cómo documentar resultados.

Ejemplo cuantitativo: diez restaurantes elegibles

Imaginemos un piloto completamente hipotético con la misma oferta y un grupo definido de encargados. Se presentó la oferta a 10; 6 aceptaron; 5 activaron el servicio; 3 continuaban usándolo al séptimo día; 2 al día catorce. No se solicitó pago durante la prueba.

Evento Conteo Denominador explícito Tasa descriptiva
Aceptación del piloto 6 10 elegibles con oferta 60 %
Activación tras aceptar 5 6 que aceptaron 83,3 %
Uso al día 7 3 5 que activaron 60 %
Uso al día 14 2 5 que activaron 40 %
Pago registrado 0 No se presentó oferta pagada No calculable como conversión de compra

Cambiar el denominador cambia la pregunta: dos usuarios activos al día catorce representan 40 % de los activados, pero 20 % de todos los elegibles que recibieron la oferta. Ambas cifras pueden ser correctas con sus etiquetas. Ninguna demuestra una tasa poblacional representativa en una muestra de conveniencia.

Embudo ilustrativo: diez ofertas, seis aceptaciones, cinco activaciones, tres usuarios en día siete, dos en día catorce.
Diagrama explicativo: Piloto hipotético con diez restaurantes elegibles. Es una ilustración original del Atlas; las relaciones representadas son didácticas y no sustituyen un estudio real.

Cuando el número es pequeño

Con diez casos, una persona puede mover la tasa de aceptación diez puntos porcentuales. No extrapoles automáticamente una estimación exacta a miles de restaurantes. Los intervalos de confianza pueden ayudar cuando existe un diseño de muestreo e inferencia apropiados; no convierten una muestra sesgada en probabilística [R15]. La significación estadística tampoco se deduce de ver un porcentaje mayor: requiere hipótesis, diseño, tamaño de muestra y análisis apropiados.

Para decidir qué confianza merece una conclusión basada en esa muestra, revisa cómo evaluar la evidencia, sus sesgos y explicaciones alternativas. Calcular bien un porcentaje no corrige una selección de participantes inadecuada.

Analiza también lo que dijeron y lo que hicieron

Si algunos usuarios abandonan, agrupa observaciones por temas: tiempo de configuración, duplicación de tareas, avisos confusos, interrupciones técnicas. Conserva citas y comportamientos que contradigan los temas predominantes. No fuerces todas las respuestas en categorías creadas después para demostrar una idea. Pregunta quién observó, cómo codificó y si otro analista llegaría a una interpretación semejante [R09].

Comparaciones y causalidad

Comparar activaciones de lunes con las de viernes puede mezclar días, disponibilidad y equipo comercial. Que dos variables se muevan juntas no demuestra que una cause la otra. Para estimar un efecto necesitamos condiciones comparables, asignación adecuada y un análisis acorde; para explorar causas, una secuencia cualitativa puede ser más útil que un A/B prematuro [R11][R17]. Revisa los sesgos de experimentación.

Del resultado a la conclusión

La hipótesis inicial decía que cinco de diez restaurantes aceptarían el piloto: se observaron seis, por lo que el umbral de aceptación se alcanzó en esta muestra. Pero solo dos de cinco activados continuaron al día catorce: sería imprudente afirmar que el producto tiene retención suficiente. Como nadie recibió una oferta de pago, tampoco hay evidencia directa de disposición a pagar. La conclusión correcta registra alcance, incertidumbre y siguiente pregunta.

Cuando esa nueva pregunta exige modificar la oferta, la hipótesis o la prueba, utiliza el Design–Test Loop para iterar con evidencia. No repitas el mismo experimento hasta obtener un resultado favorable: registra qué aprendiste y qué cambió.

Puedes construir un árbol de decisiones para traducir resultados favorables, negativos e inconclusos en acciones sin confundirlos con certezas.

Qué deberías tener al terminar: tabla de datos depurados, cálculos con denominadores, hallazgos cualitativos y conclusión proporcional a la evidencia. Fuentes principales: [R09], [R11], [R15], [R17].

Bibliografía y referencias