Un resultado puede verse impresionante y ser irrelevante. «Seis aceptaron» no significa mucho si no sabemos a cuántos se les ofreció participar, quiénes eran y qué ocurrió después. El análisis de experimentos combina cálculo correcto, lectura del contexto y cautela ante explicaciones alternativas [R09][R17].
Primero identifica la pregunta y el tipo de datos
Los datos cualitativos describen conductas, obstáculos, motivaciones y relatos. Los cuantitativos cuentan eventos, tiempos y respuestas estandarizadas. Son complementarios: una tasa revela cuánto ocurrió en una muestra, mientras la observación puede explicar por qué. Un estudio cualitativo con pocos participantes no debe presentarse como una estimación precisa de toda una población [R17].
Limpieza y trazabilidad antes de calcular
Verifica IDs duplicados, fechas, criterios de elegibilidad, eventos faltantes, cambios de protocolo y observaciones registradas bajo condiciones distintas. Decide cómo tratar registros incompletos y deja la decisión documentada. No completes datos ausentes suponiendo que todos fueron fracasos o éxitos. El registro original se explica en cómo documentar resultados.
Ejemplo cuantitativo: diez restaurantes elegibles
Imaginemos un piloto completamente hipotético con la misma oferta y un grupo definido de encargados. Se presentó la oferta a 10; 6 aceptaron; 5 activaron el servicio; 3 continuaban usándolo al séptimo día; 2 al día catorce. No se solicitó pago durante la prueba.
| Evento | Conteo | Denominador explícito | Tasa descriptiva |
|---|---|---|---|
| Aceptación del piloto | 6 | 10 elegibles con oferta | 60 % |
| Activación tras aceptar | 5 | 6 que aceptaron | 83,3 % |
| Uso al día 7 | 3 | 5 que activaron | 60 % |
| Uso al día 14 | 2 | 5 que activaron | 40 % |
| Pago registrado | 0 | No se presentó oferta pagada | No calculable como conversión de compra |
Cambiar el denominador cambia la pregunta: dos usuarios activos al día catorce representan 40 % de los activados, pero 20 % de todos los elegibles que recibieron la oferta. Ambas cifras pueden ser correctas con sus etiquetas. Ninguna demuestra una tasa poblacional representativa en una muestra de conveniencia.
Cuando el número es pequeño
Con diez casos, una persona puede mover la tasa de aceptación diez puntos porcentuales. No extrapoles automáticamente una estimación exacta a miles de restaurantes. Los intervalos de confianza pueden ayudar cuando existe un diseño de muestreo e inferencia apropiados; no convierten una muestra sesgada en probabilística [R15]. La significación estadística tampoco se deduce de ver un porcentaje mayor: requiere hipótesis, diseño, tamaño de muestra y análisis apropiados.
Para decidir qué confianza merece una conclusión basada en esa muestra, revisa cómo evaluar la evidencia, sus sesgos y explicaciones alternativas. Calcular bien un porcentaje no corrige una selección de participantes inadecuada.
Analiza también lo que dijeron y lo que hicieron
Si algunos usuarios abandonan, agrupa observaciones por temas: tiempo de configuración, duplicación de tareas, avisos confusos, interrupciones técnicas. Conserva citas y comportamientos que contradigan los temas predominantes. No fuerces todas las respuestas en categorías creadas después para demostrar una idea. Pregunta quién observó, cómo codificó y si otro analista llegaría a una interpretación semejante [R09].
Comparaciones y causalidad
Comparar activaciones de lunes con las de viernes puede mezclar días, disponibilidad y equipo comercial. Que dos variables se muevan juntas no demuestra que una cause la otra. Para estimar un efecto necesitamos condiciones comparables, asignación adecuada y un análisis acorde; para explorar causas, una secuencia cualitativa puede ser más útil que un A/B prematuro [R11][R17]. Revisa los sesgos de experimentación.
Del resultado a la conclusión
La hipótesis inicial decía que cinco de diez restaurantes aceptarían el piloto: se observaron seis, por lo que el umbral de aceptación se alcanzó en esta muestra. Pero solo dos de cinco activados continuaron al día catorce: sería imprudente afirmar que el producto tiene retención suficiente. Como nadie recibió una oferta de pago, tampoco hay evidencia directa de disposición a pagar. La conclusión correcta registra alcance, incertidumbre y siguiente pregunta.
Cuando esa nueva pregunta exige modificar la oferta, la hipótesis o la prueba, utiliza el Design–Test Loop para iterar con evidencia. No repitas el mismo experimento hasta obtener un resultado favorable: registra qué aprendiste y qué cambió.
Puedes construir un árbol de decisiones para traducir resultados favorables, negativos e inconclusos en acciones sin confundirlos con certezas.
Qué deberías tener al terminar: tabla de datos depurados, cálculos con denominadores, hallazgos cualitativos y conclusión proporcional a la evidencia. Fuentes principales: [R09], [R11], [R15], [R17].
Bibliografía y referencias
- [R09] GOV.UK Service Manual. Analyse a research session. https://www.gov.uk/service-manual/user-research/analyse-a-research-session — Diferenciar observaciones e interpretaciones.
- [R17] Nielsen Norman Group. Quantitative vs. Qualitative Usability Testing. https://www.nngroup.com/articles/quant-vs-qual/ — Investigación cualitativa y cuantitativa.
- [R15] NIST/SEMATECH e-Handbook. Confidence intervals. https://www.itl.nist.gov/div898/handbook/prc/section2/prc241.htm — Incertidumbre para estimar proporciones.
- [R11] NIST/SEMATECH e-Handbook. Choosing an experimental design. https://itl.nist.gov/div898/handbook/pri/section3/pri3.htm — Variables, aleatorización, factores de confusión y diseños comparativos.