La auditoría: cuando el panel miente con convicción
La IA escribe bien y calcula mal, con cara de certeza total. Esta lección te da un checklist de auditoría de cinco ítems para los indicadores de la operación y el principio de que quien firma el número es siempre una persona.
Lunes por la mañana, y el coordinador de logística le pide a la IA que arme el panel de SLA de la semana pasada a partir del sistema de rastreo. Llega un resumen impecable: "SLA de 98%, operación sana, ningún punto de atención". Casi manda el pantallazo al grupo del director. Antes de mandarlo, por costumbre, abre el TMS y rehace la cuenta a mano, contando las entregas reabiertas por reclamo. El SLA real era 86%. La IA había excluido de la cuenta todo ticket que fue reabierto después de "resuelto", porque contaba solo el primer intento de entrega. Doce puntos de operación sana que no existían, listos para volverse tranquilidad de directorio sobre un problema real.
El controller le pidió a la IA calcular el costo por entrega del mes a partir del informe de gastos logísticos, y ella devolvió un valor limpio, con una frase segura sobre "costo bajo control". Al rehacer la cuenta aparte, la IA había dividido el costo total entre el número de pedidos enviados, no entre el número de entregas efectivamente concluidas, y el costo real por entrega era 30% mayor. El texto sonaba a análisis financiero maduro; el número era ficción con planilla debajo.
Para una auditoría de conformidad de transporte, la IA calculó el porcentaje de entregas con toda la documentación fiscal correcta y escribió un párrafo tranquilo sobre "riesgo bajo". Casi entra en el dictamen sin revisión. Al rehacer la cuenta proceso por proceso, dos lotes citados como conformes tenían factura con divergencia no resuelta, y el porcentaje real de conformidad era mucho menor. El texto sonaba a garantía jurídica; el número era una apuesta vestida de certeza.
La IA armó el informe de experiencia de entrega del trimestre, con NPS de posventa y un veredicto de "logística que encanta al cliente". Casi va directo a la presentación de marca. Al rehacer la cuenta a partir de las respuestas brutas de la encuesta, la IA había contado a quien no respondió como neutro favorable, y el NPS real era mucho más bajo. La prosa era convincente, el número estaba inflado, y la campaña del próximo trimestre casi se apoyó en una percepción de cliente que no existía.
La IA resumió el indicador de ausentismo del equipo de operación y escupió una tasa del 4%, con un párrafo seguro sobre "planta estable". Casi se volvió slide para el comité de gente. Al rehacer la cuenta a partir del reloj checador, contando también las faltas injustificadas que la IA había dejado fuera, la tasa real era 11%. Siete puntos de estabilidad inventados, listos para volverse decisión de no reforzar el equipo en un turno que ya estaba al límite.
Para priorizar mejoras en la app de rastreo, la IA calculó la tasa de entregas rastreadas en tiempo real y escribió una recomendación convincente sobre dónde invertir primero. Casi entra directo a la especificación. Al rehacer el cálculo aparte, la IA había contado como "rastreada" toda entrega con cualquier actualización de estado, aunque fuera sin geolocalización, y la cobertura real de rastreo en vivo era un tercio de lo reportado. La prioridad elegida era la equivocada, y la prosa segura no daba ninguna pista del error.
En el cierre del mes, la IA consolidó el indicador de puntualidad que sostiene el descuento contractual con el cliente más grande y escribió que la operación tenía derecho al bono por desempeño. Casi va directo al correo de cobro. Al verificar entrega por entrega, la IA había aplicado la ventana de tolerancia equivocada, más generosa que la del contrato, y el indicador real quedaba por debajo del límite del bono. El correo casi sale cobrando un valor al que la operación no tenía derecho.
Viernes por la tarde, cierre semanal del centro de distribución. La IA saca el informe del WMS y devuelve el fill rate de la semana: "94%, dentro de la meta". El supervisor de operaciones iba a pegar eso directo en el informe que va al cliente el lunes. Al rehacer el cálculo a partir de los pedidos brutos, incluyendo los ítems sustituidos por falta de stock que la IA había contado como "atendidos", el fill rate real era 79%. Quince puntos de diferencia entre lo que iba al cliente y lo que realmente pasó en el piso, y lo único que impidió que el error saliera fue que el supervisor tenía el hábito de revisar antes de firmar.
Para el informe de riesgo trimestral, la IA consolidó el número de incidentes de seguridad en el transporte de carga y escribió un párrafo tranquilizador sobre el nivel de exposición. Casi entra al report del comité así nomás. Al verificar la fuente de cada caso en el sistema de incidencias, la IA había contado dos incidentes que pertenecían a otra unidad y omitido uno relevante que estaba clasificado bajo otro código. El total de riesgo estaba maquillado, con la misma confianza de un control interno auditado de verdad.
Después de un pico de pedidos, la IA calculó el uptime del sistema de ruteo del trimestre a partir de los logs y escribió un informe con la frase "disponibilidad dentro del SLA de 99,9%". Casi va directo al status report de la dirección. Al rehacer la cuenta aparte, la IA había ignorado la ventana de degradación parcial en que el sistema respondía lento pero no se caía, y el uptime real de rendimiento aceptable era 99,1%. El número no cerraba el SLA contratado con el proveedor de tecnología.
La IA resumió la encuesta de satisfacción del conductor con la app de ruta y escupió una tasa de adopción del 88%, con un párrafo seguro sobre que la app "está lista para expandirse". Casi se volvió recomendación directa para el equipo de operaciones. Al revisar los datos de uso reales, la IA había contado como "adoptado" a cualquier conductor que abrió la app una vez, incluso sin usar la ruta sugerida. La adopción real de uso continuo era 51%, y el número bonito casi liberó una expansión sobre una app que la mayoría todavía no confiaba de verdad.
Para el board deck del trimestre, la IA calculó la participación de la operación propia versus tercerizada en las entregas y escribió un párrafo confiado sobre "internalización avanzando según el plan". Casi entra en el slide de apertura sin revisión. Al verificar la fuente, la IA había sumado rutas de dos centros de distribución distintos con criterios de conteo distintos, y el avance real era mucho menor. La narrativa de internalización que el directorio le llevaría al inversor estaba apoyada en un número que nadie había confirmado.
Ok, detente un segundo en ese "casi". En todos estos casos el indicador equivocado casi pasó, no porque el coordinador fuera descuidado, sino porque la IA entrega un panel equivocado con la misma confianza con que entrega un panel correcto. Ese es el punto incómodo de esta lección: la salida numérica de una IA sobre un indicador de operación no es confiable por defecto. Y en la operación, donde un indicador se vuelve informe para el cliente, decisión de contratación y renovación de contrato, eso no es un detalle. Es la diferencia entre gestión de verdad y ruleta con planilla bonita.
La idea central de esta lección. La IA es excelente con el texto y pésima como fuente de verdad numérica sobre indicadores: inventa un valor cuando falta dato, cita una cuenta que no hizo, cambia numerador por denominador, se equivoca de orden de magnitud, y entrega todo con confianza total. Por eso el indicador que la IA calcula es una propuesta, no una verdad. Auditar no es desconfiar de la herramienta, es higiene profesional que protege tu firma. El cierre de la lección es un checklist de cinco ítems y un principio innegociable: quien firma el indicador es siempre una persona.
01Óptima con el texto, pésima con la verdad
Vale entender por qué pasa esto, porque entenderlo cambia cómo usas la herramienta. La IA que usas es, en esencia, una máquina de predecir la próxima palabra que suena bien. Está entrenada para que el texto sea fluido, plausible y confiado. Nadie la entrenó para que la cuenta del SLA cierre. Son dos objetivos distintos, y ella solo persigue el primero.
El efecto colateral es cruel para la operación. La misma habilidad que hace que la IA escriba un párrafo de panel impecable hace que escriba un indicador impecable que está equivocado. No tiene un sentido interno de "esto no puede estar bien para un centro de distribución de este tamaño". Cuando falta un dato, no se detiene: lo llena con algo plausible. En el texto, eso es un detalle raro que notas. En un indicador, es un número con la misma cara que todos los demás, y no lo notas.
Fíjate en los cuatro modos clásicos de falla, porque tu checklist va a apuntar exactamente a ellos. Inventa un valor cuando falta dato en el sistema de origen. Cita una cuenta que no hizo, describiendo un cálculo de SLA o de fill rate que parece haber ocurrido pero no ocurrió. Cambia numerador por denominador, o cuenta "atendido" cuando debía contar "atendido a tiempo". Y se equivoca de orden de magnitud, con un punto porcentual de más o de menos que pasa desapercibido en medio de la prosa segura. Los cuatro salen con la misma confianza absoluta. La confianza no es señal de acierto, es solo el tono estándar de la herramienta.
02La paradoja de la sensación: crees que el panel está bien
Aquí entra el estudio que más debería hacerte parar a pensar. En 2025, el METR midió a profesionales experimentados trabajando con y sin IA en tareas reales. El resultado esperado era ganancia de velocidad. Lo que apareció fue lo contrario: con la IA, se volvieron cerca de 19% más lentos. Y la parte traicionera: creían que estaban siendo más rápidos. La sensación decía "gané tiempo" mientras el cronómetro decía "perdí tiempo".
¿Por qué importa esto en una lección de auditoría de indicadores? Porque la sensación de acierto funciona igual que la sensación de velocidad. Cuando la IA te entrega un panel bonito, bien formateado, con una frase de conclusión convincente, tu cerebro registra "esto está resuelto" y relaja la guardia. La fluidez de la entrega genera una confianza que no fue ganada por ninguna verificación. Te sientes cubierto sin estarlo.
En el texto suelto, esa sensación sale barata. En un indicador de operación, sale cara. La misma falsa confianza que hizo que el profesional del METR creyera que ganó tiempo te hace creer que el SLA está bien. Y el indicador equivocado que "parece correcto" es justamente el que atraviesa tu revisión y llega al cliente, al directorio, al comité de calidad. El marco económico es directo: la sensación es gratis de producir y cara de creer.
03El checklist de auditoría del indicador de operación
Aquí está el corazón de la lección. Auditar un indicador no es un talento, es un procedimiento. Cinco preguntas, en orden, antes de que cualquier indicador calculado por la IA salga con tu nombre. Piensa en ellas como un embudo: cada pregunta filtra un tipo de error, y lo que pasa las cinco es un número que puedes defender.
La primera: ¿la cuenta cierra cuando se rehace aparte? Esta es la reina. Tú u otra herramienta rehace el cálculo del SLA, del fill rate, del costo por entrega, de forma independiente, sin mirar la respuesta de la IA, y las dos coinciden. Si solo confirmaste leyendo la explicación de la IA, no auditaste nada, te convencieron. Rehacer aparte es lo que atrapa la entrega reabierta contada como éxito y el denominador cambiado.
La segunda: ¿la fuente de cada número existe y coincide? Todo indicador entra desde algún lugar: el WMS, el TMS, el sistema de tickets. Verificas si la fuente existe de verdad y si el valor citado coincide con ella. Es esto lo que atrapa la cuenta que la IA dijo haber hecho pero no hizo.
La tercera: ¿las premisas del indicador están explícitas? Todo indicador operativo carga suposiciones: qué cuenta como "a tiempo", qué cuenta como "reabierto", cuál es el período de corte, qué entra y qué no entra en la base. Si las premisas están escondidas en la prosa, el indicador te está escondiendo de qué está hecho. La premisa implícita es donde el error se esconde.
La cuarta: ¿alguna señal o el orden de magnitud se ve raro? Este es el test del olfato. Das un paso atrás y miras el número como persona: ¿tiene sentido un SLA de 98% en una operación que sabes que anduvo renga este mes? Un cero de más o una métrica invertida rara vez sobrevive a una mirada de sentido común, siempre que te detengas a darla.
La quinta, y la más importante: ¿quien firma sabe defenderlo? Si tuvieras que explicar ese indicador delante del cliente en una reunión de resultados, línea por línea, ¿podrías? Si la respuesta es "no, fue la IA la que calculó", el indicador no está listo. Un número que nadie sabe defender es un número huérfano, y un número huérfano no sale.
04La regla RESPONDER: la IA propone, el humano confirma, la persona firma
El checklist tiene un principio detrás, y ese principio es lo que sostiene todo. El movimiento RESPONDER trata exactamente de esto: máquina de decisión con la responsabilidad anclada en un nombre humano. Aplicado a la operación, se vuelve una regla de tres tiempos que nunca colapsas.
La IA propone. Es rápida, incansable y óptima para generar el borrador del indicador, la primera versión del cálculo, el esbozo del informe de SLA. Úsala a gusto aquí, es donde brilla. Pero propuesta es propuesta: nada de lo que produce es verdad solo porque lo produjo ella.
El humano confirma. Es el checklist de las cinco preguntas corriendo. Este paso no es opcional, no es "cuando haya tiempo". Es el paso que transforma una propuesta de la máquina en un indicador auditado. Saltarse este paso es el error que hace que el indicador equivocado casi pase, igual que en los ejemplos del principio.
Y la persona firma. Aquí está el punto sin vuelta atrás: quien firma el indicador es una persona, siempre. Cuando el número sale con tu nombre, en una QBR con el cliente, en un informe para el comité de calidad, en una presentación de resultados, la responsabilidad es tuya, entera. "Fue la IA la que calculó" no existe como excusa. No existe en la reunión con el cliente, no existe en la auditoría, no existe en la conversación difícil después de que el indicador equivocado se volvió promesa rota. La máquina no tiene nombre, no tiene credencial y no va a la reunión a defender el panel. Tú vas.
05Auditar no es desconfiar: es proteger tu firma
Déjame deshacer una resistencia común antes de cerrar. Hay gente que siente que auditar el indicador de la IA es no confiar en la herramienta, que es retrabajo, que es no aprovechar la ganancia de velocidad. Ese marco está equivocado, y sale caro.
Auditar no es desconfianza, es higiene. No revisas el SLA porque creas que la IA es tonta, lo revisas porque cualquier número que va a salir con tu nombre merece ese cuidado, venga de la IA, de un pasante o de ti mismo a las once de la noche. El supervisor experimentado rehace la cuenta no porque desconfíe del sistema, sino porque así se trabaja con un indicador que se vuelve informe de cliente. La IA es una calculadora que a veces inventa el resultado y nunca avisa. La auditoría es la higiene profesional que eso exige.
Y el marco económico cierra el argumento. El costo de auditar son minutos. El costo de no auditar es un SLA equivocado en una QBR, una renovación de contrato negociada sobre un fill rate inflado, una reputación de operación que llevó años construir y se derrumba en una captura de pantalla. Minutos contra eso no es retrabajo, es el mejor seguro barato que existe. La IA te devuelve tiempo en la propuesta; tú reinviertes una fracción de ese tiempo en la verificación y te quedas con la ganancia neta y con tu firma protegida.
Hazlo ahora
Toma un indicador operativo real que produjiste o producirías con ayuda de IA (tu tarea real sirve bien: SLA, fill rate, costo por entrega, tiempo de ciclo). Tu tarea no es rehacer la cuenta ahora, es armar TU propio checklist de auditoría de cinco ítems, adaptado a tu contexto. Para cada ítem, escribe la pregunta en tu lenguaje y la verificación concreta que harías:
- ¿LA CUENTA CIERRA AL REHACERLA APARTE? ¿Cómo, exactamente, reharías ese indicador de forma independiente, sin mirar la respuesta de la IA? (qué sistema, qué cálculo, quién lo hace)
- ¿LA FUENTE EXISTE Y COINCIDE? ¿Cuáles son las fuentes que alimentan ese indicador (WMS, TMS, sistema de tickets, reloj checador), y cómo confirmas que cada valor coincide con la fuente real?
- ¿LAS PREMISAS ESTÁN EXPLÍCITAS? Lista las tres premisas más importantes incorporadas en ese indicador (qué cuenta como "a tiempo", qué cuenta como "reabierto", cuál período). ¿Están escritas o están escondidas?
- ¿SEÑAL O MAGNITUD RARA? ¿Cuál es el test de olfato: qué valor, si apareciera, haría que te detengas al instante y digas "esto no puede estar bien para mi operación"?
- ¿QUIEN FIRMA LO DEFIENDE? Escribe, en una frase, el nombre de la persona que firma ese indicador y la defensa de una línea que daría en una reunión con el cliente. Si no puedes escribir esa frase, el indicador todavía no está listo.
Guarda este checklist. Vale para todo indicador que vayas a producir con IA de ahora en adelante.
Practica
1. La IA entregó un panel de SLA con un texto ejecutivo impecable y muy convincente. ¿Cuál es la lectura correcta antes de usar ese número?
2. El estudio del METR (2025) mostró que profesionales experimentados se volvieron cerca de 19% más lentos con IA, pero creían que estaban siendo más rápidos. ¿Qué enseña esto sobre confiar en un indicador sin revisarlo?
3. Un indicador calculado por IA salió con el nombre de un supervisor en un informe para el cliente y estaba equivocado. ¿Quién responde por ese número?
¿Listo? El mensaje de la lección es directo y económico: el indicador de la IA es una propuesta barata y rápida, y eso es genial, siempre que nunca confundas propuesta con verdad. Las cinco preguntas toman minutos; el indicador equivocado que pasa cuesta mucho más. Auditar no es frenar la IA por miedo ni desconfiar de la herramienta, es la higiene que protege tu firma. La IA propone, tú confirmas, y quien firma eres tú. Siempre.
Para la pizarra
Sobre el panelmiente con convicción. La salida numérica no es confiable por defecto, por más bonito que esté el texto.
Sobre la sensacióncreer que el número está bien es lo que te hace bajar la guardia sin haber verificado nada.
Sobre la firmala IA propone, el humano verifica, la persona firma. La responsabilidad no migra a la herramienta.
Gracias por el feedback. Esto ayuda a afinar la próxima lección.