Probar un cambio cuando el negocio ya tiene clientes no consiste en «hacer A/B y ver qué pasa». Hay pedidos comprometidos, dinero en juego, calidad que proteger y explicaciones alternativas que podrían hacernos celebrar un resultado engañoso.
Un experimento operativo busca aprender si una modificación concreta mejora un proceso existente bajo condiciones definidas y sin poner en riesgo obligaciones vigentes. El manual de servicios de GOV.UK describe investigación y pruebas durante la fase de operación, incluyendo análisis de incidencias y ensayos A/B sobre funcionalidades nuevas o modificadas [R01]. El NIST explica que el diseño experimental debe decidir objetivos, factores y controles antes de observar resultados [R02]. Ninguna de estas recomendaciones autoriza alterar unilateralmente condiciones ofrecidas al cliente ni convierte una prueba pequeña en evidencia definitiva.
1. Distingue mejorar lo existente de validar una idea nueva
En la etapa de exploración se prueban hipótesis sobre necesidad, propuesta, mercado o solución; en un negocio activo se estudia además qué pasa con clientes, transacciones, procesos y recursos que ya dependen del servicio. Una variación puede cambiar tiempos, costo, carga del equipo, defectos o accesibilidad, aunque parezca menor.
Si se cuestiona una propuesta de negocio completamente nueva, recurre al diseño de experimentos de validación del Pilar 3. Si se trata de una oportunidad de producto, segmento o mercado distinta, se evaluará también en nuevas oportunidades desde un negocio en funcionamiento. Aquí el objeto es mejorar una operación actual, con sus obligaciones y riesgos.
2. Escribe una hipótesis y sus medidas antes de cambiar nada
La ficha de experimento debe empezar por una observación trazable, no por una solución favorita. Registra:
- Unidad de intervención: pedido, turno, sucursal, persona usuaria o proceso, con razón para elegirla.
- Población elegible y exclusiones: a qué casos aplica y cuáles quedan fuera por seguridad o incompatibilidad.
- Hipótesis y mecanismo: «Agrupar la preparación según franjas podría reducir unidades descartadas al acercar la cantidad producida a los pedidos».
- Métrica primaria:
unidades descartadas / unidades preparadasen una ventana acordada. - Contramétricas: faltantes observables, pedidos incompletos, puntualidad y contribución neta incluyendo costos de ejecutar el cambio.
- Criterios de decisión: qué patrón justifica continuar, repetir, detener, revertir o rechazar una conclusión.
Definir los denominadores permite detectar datos engañosos. Si se excluye del análisis a los pedidos que salieron mal solo porque el equipo decidió no completarlos, las tasas de calidad parecerán artificialmente buenas. Para escoger y documentar KPI consulta la guía de indicadores y para delimitar causas la investigación causal. No repitas aquí sus tutoriales completos.
3. Elige el diseño por riesgo, volumen y posibilidad real de comparación
No todos los negocios necesitan una plataforma estadística; sí necesitan reconocer qué pueden y no pueden concluir de cada diseño:
| Diseño | Cuándo puede servir | Qué limita la interpretación |
|---|---|---|
| Piloto en un turno o local | Cambio reversible con impacto acotado | Antes/después es sensible a demanda y condiciones diferentes |
| Despliegue gradual | La calidad requiere observar fallos antes de ampliar | La selección de los primeros locales puede introducir sesgo |
| Alternancia planificada por franja | El equipo puede sostener reglas claras por tiempo | Día, hora, trabajador y demanda pueden estar confundidos con la variante |
| A/B asignado al azar | Hay unidades suficientes, variantes comparables y control de exposición | Interferencia entre grupos, tamaño efectivo, contaminación y riesgos éticos |
| Bloques comparables + asignación aleatoria | Hay grandes diferencias por día o turno | Requiere diseño previo y análisis por unidad de asignación |
NIST describe diseños completamente aleatorios, por bloques y la necesidad de gestionar factores de confusión [R02][R03]. «Bloquear» significa comparar alternativas dentro de grupos razonablemente similares —por ejemplo, días equivalentes—, no manipular el análisis después de ver resultados. Randomizar ayuda a reducir sesgos conocidos y desconocidos, pero no repara fallas de medición ni elimina la interferencia entre pedidos que comparten cocina o repartidor.
En una cafetería, el turno puede ser la unidad de asignación, no cada almuerzo, porque cambiar el proceso para un pedido afecta los que esperan detrás. Si se asignan 16 turnos, no se dispone de 400 unidades independientes de intervención aunque se hayan servido 410 almuerzos.
4. Controla sesgos y variaciones antes de leer resultados
Antes de comenzar revisa estacionalidad, feriados, campañas, mezcla de productos, clima cuando sea relevante, fallos de inventario, precios y diferencias del equipo. Evita comparar una mañana sin pedidos con un sábado lleno. Registra los eventos especiales en vez de borrarlos porque «estropean el promedio».
Sesgo de selección aparece si asignas la variante nueva solo a clientes fáciles o turnos tranquilos; interferencia si un mismo trabajador usa la técnica nueva en el grupo control; maduración y aprendizaje si todo el equipo mejora por experiencia con el tiempo; cambios simultáneos si una promoción modifica la demanda a la vez que el nuevo procedimiento. Una prueba puede explorar viabilidad aun cuando no permita estimar efecto causal con precisión. Di exactamente qué tipo de aprendizaje produce.
No inventes un nivel de significancia a partir de unas pocas jornadas. Los métodos formales requieren definir unidad, tamaño efectivo, hipótesis, potencia cuando aplique y plan de análisis. Para una primera prueba pequeña, informa los conteos, variabilidad y restricciones, sin escribir «estadísticamente probado» sin cálculo válido.
5. Protege el servicio, la participación y la privacidad
El cambio debe conservar calidad mínima, precio y condiciones ofrecidas, tiempos comprometidos, accesibilidad y seguridad. Si la nueva regla puede comprometer una entrega, elige primero un entorno de práctica o una franja controlada sin alterar derechos adquiridos. Define quién detiene la prueba, cómo vuelve al procedimiento anterior y cómo se informa y repara una incidencia.
Cuando la prueba involucra investigación con participantes, GOV.UK detalla la necesidad de consentimiento informado, claridad de propósito, uso de datos y posibilidad de retirar participación [R04]. Ese documento describe investigación de usuarios en servicios públicos británicos y no sustituye una comprobación legal específica para cada país y tipo de dato. No uses identificadores personales si bastan recuentos agregados por turno. Cualquier recogida de comentarios voluntarios debe tener finalidad definida, acceso restringido y plazos de conservación proporcionados.
6. Ejecuta con un protocolo reproducible y un registro de costos
Prepara un protocolo con identificador, versión, período, responsables, población, variantes, asignación, variables, fuente de cada medida, criterios de salida, controles de seguridad y autorización. Define el momento exacto del registro: «entregado» no es lo mismo que «salió del local». En incidentes, conserva fecha, impacto, corrección e inclusión/exclusión motivada.
Además del costo variable por pedido, registra horas adicionales de personal, formación, insumos, soporte, compensaciones y la inversión necesaria para convertir el piloto en norma. No registres como «ahorro» un aumento de ingresos mientras ignoras trabajo adicional. Comparar distintas cantidades exige mirar totales y valores por unidad.
Un ensayo operativo puede organizarse dentro de PDCA o un conjunto sucesivo de pruebas PDSA; estos ciclos organizan aprendizaje, pero el grado de atribución causal depende del diseño concreto [R05].
7. Caso trabajado: preparar por franja sin empeorar calidad
Experimento enteramente hipotético e independiente de los períodos de B01. Una cafetería decide comparar el proceso actual A con lotes por franja B en 16 turnos, asignando ocho turnos a cada variante mediante una secuencia preparada por adelantado y procurando equilibrio por día. La cocina es compartida: el turno es la unidad asignada. Los resultados agregados siguientes son datos sintéticos con fines didácticos, no resultados de un negocio real ni evidencia inferencial suficiente.
Supuestos económicos: precio S/30 por almuerzo entregado, costo variable por vendido S/18, costo ya incurrido por descartado S/10. Para B se registran S/150 adicionales de formación y organización del piloto, que A no incurrió durante estos turnos; el caso no supone que tal costo continuará idéntico en producción. Los costos fijos habituales e impuestos quedan excluidos.
| Medida | A: actual, 8 turnos | B: nuevo, 8 turnos |
|---|---|---|
| Preparados | 224 | 224 |
| Entregados | 200 | 210 |
| Descartados | 24 | 14 |
| Solicitudes no atendidas | 10 | 9 |
| Pedidos incompletos entre los entregados | 2 | 5 |
| Desperdicio / preparados | 24/224 = 10,71 % | 14/224 = 6,25 % |
| Faltantes / (entregas + no atendidas) | 10/210 = 4,76 % | 9/219 = 4,11 % |
| Pedidos incompletos / entregados | 2/200 = 1,00 % | 5/210 = 2,38 % |
| Contribución antes del costo adicional del piloto | 200×12−24×10 = S/2.160 | 210×12−14×10 = S/2.380 |
| Contribución después del costo adicional del piloto | S/2.160 | 2.380−150 = S/2.230 |
| Contribución por entrega tras el costo del piloto | 2.160/200 = S/10,80 | 2.230/210 = S/10,62 |
Antes de ejecutar se establecieron criterios locales ilustrativos: desperdicio ≤8 %, faltantes ≤5 %, pedidos incompletos ≤2 % y contribución por entrega después de costos adicionales no inferior a la de A. Estos umbrales son decisiones hipotéticas, no estándares de la industria. Aunque B reduce desperdicio 4,46 puntos porcentuales y aumenta la contribución total simplificada en S/70 después del costo del piloto, incumple dos protecciones: incompletos 2,38 % y contribución por entrega S/10,62 frente a S/10,80.
Decisión provisional: no expandir B. Revisar las causas de los pedidos incompletos y el costo de la nueva organización; corregir y probar una variante ajustada si el riesgo es aceptable. El período es pequeño, los turnos son la unidad experimental y todavía desconocemos variación por día, mezcla, puntualidad y distribución de retrasos. No concluimos que B causó una mejora reproducible. La recurrencia de clientes no se mide aquí: ocho turnos no justifican inventar recompra o fidelidad; si la decisión la exige, diseñar seguimiento elegible y consentido a mayor plazo.
Una prueba distinta sobre la presentación de una torta ya vendida podría asignar lotes o exhibiciones comparables y medir producto descartado, defectos, margen y repetición posterior. No debería mezclarla con el ensayo de preparación por franjas. Crear una nueva receta o entrar en otro segmento abre preguntas comerciales que trascienden este experimento operativo.
8. Decide qué hacer con un resultado y cuándo repetir
Una matriz de decisión honesta contempla: criterio de resultado alcanzado; guardrails cumplidos; calidad de medición suficiente; explicación alternativa no resuelta; costo de adoptar; y reversibilidad. Las opciones pueden ser detener por seguridad, revertir por daños, adaptar el diseño, repetir para resolver incertidumbre, implementar de manera limitada y vigilar, o descartar. Un resultado negativo también genera conocimiento si sus datos se registraron bien.
Si la evidencia favorece una intervención, no la extiendas indiscriminadamente: verifica otros turnos, responsables y períodos, vuelve a evaluar costos y actualiza procedimientos. Si exige inversión relevante, contrástala luego con la evaluación económica de mejoras. Una decisión de crecimiento o nueva oferta pertenece al P7-13/P7-14/P7-15 y requiere otras comprobaciones.
Plantilla: protocolo de experimento operativo
| Campo | Registro exigido |
|---|---|
| ID, versión, responsable y autorización | Identificar exactamente qué prueba se aprobó |
| Hipótesis y objetivo | Resultado, mecanismo propuesto y alternativas |
| Población/unidad | Pedidos, turnos, locales o personas elegibles; exclusiones |
| Variantes y asignación | Proceso A, proceso B, quién asigna y cómo evita sesgos |
| Métricas y períodos | Fórmulas, fuentes, denominadores, muestras y ventanas |
| Guardrails y stop rules | Calidad, seguridad, privacidad, contratos y costo |
| Registro de excepciones | Desviaciones, eventos externos, fallos y remedios |
| Costos incrementales | Personal, formación, insumos, devoluciones y soporte |
| Resultados y límites | Diferencias observadas, variación, factores no controlados |
| Decisión y seguimiento | Continuar, ajustar, revertir o detener; dueño y fecha |
El paquete contiene el protocolo editable ES/EN y un registro sintético agregado de las dos variantes que permite rehacer las tasas, sin recopilar datos personales. Puedes empezar con papel o una hoja y ampliar la instrumentación solo si el volumen y el riesgo lo justifican.
Errores frecuentes y límites
Llamar «A/B» a dos semanas distintas sin asignación; excluir pedidos fallidos; cambiar tres cosas a la vez; comparar turnos de demanda disímil sin registrarlo; usar 410 pedidos como si fueran 410 turnos independientes; prometer un valor p sin prueba apropiada; omitir costos de implantación; no proteger derechos del cliente; o declarar victoria aunque empeoren guardrails. La calidad de una decisión depende tanto de lo que se midió como de lo que aún no podemos saber.
Qué deberías tener al terminar
Un plan de ensayo ejecutable, reversible y verificable: hipótesis, población, unidad, diseño, métricas, criterios de seguridad, costos, registro y decisión. La prueba sirve para aprender sin vender certeza que los datos todavía no justifican.
Referencias
- [R01] Government Digital Service (GOV.UK), User research in live. https://www.gov.uk/service-manual/user-research/user-research-in-live
- [R02] National Institute of Standards and Technology (NIST), Engineering Statistics Handbook — 5.3 Choosing an Experimental Design. https://www.itl.nist.gov/div898/handbook/pri/section3/pri3.htm
- [R03] NIST, Engineering Statistics Handbook — 5.3.3.2 Randomized Block Designs. https://www.itl.nist.gov/div898/handbook/pri/section3/pri332.htm
- [R04] Government Digital Service (GOV.UK), Getting informed consent for user research (contexto de investigación con personas). https://www.gov.uk/service-manual/user-research/getting-users-consent-for-research
- [R05] Institute for Healthcare Improvement (IHI), How to Improve: Model for Improvement — Testing Changes (variante PDSA y pruebas a pequeña escala). https://www.ihi.org/library/model-for-improvement/testing-changes