A auditoria: quando o painel mente com convicção
A IA escreve bem e calcula mal, com cara de certeza total. Esta aula te dá um checklist de auditoria de cinco itens para os indicadores da operação e o princípio de que quem assina o número é sempre uma pessoa.
Segunda de manhã, e o coordenador de logística pede pra IA montar o painel de SLA da semana passada a partir do sistema de rastreamento. Vem um resumo impecável: "SLA de 98%, operação saudável, nenhum ponto de atenção". Ele quase manda o print no grupo do diretor. Antes de mandar, por hábito, ele abre o TMS e refaz a conta na unha, contando as entregas reabertas por reclamação. O SLA real era 86%. A IA tinha excluído da conta todo chamado que foi reaberto depois de "resolvido", porque contava só a primeira tentativa de entrega. Doze pontos de operação saudável que não existiam, prontos pra virar tranquilidade de diretoria em cima de um problema real.
O controller pediu pra IA calcular o custo por entrega do mês a partir do relatório de despesas logísticas, e ela devolveu um valor limpo, com uma frase segura sobre "custo sob controle". Refazendo a conta à parte, a IA tinha dividido o custo total pelo número de pedidos enviados, não pelo número de entregas efetivamente concluídas, e o custo real por entrega era 30% maior. O texto soava como análise financeira madura; o número era ficção com planilha embaixo.
Para uma auditoria de conformidade de transporte, a IA calculou o percentual de entregas com toda a documentação fiscal correta e escreveu um parágrafo tranquilo sobre "risco baixo". Quase entrou no parecer sem checagem. Refazendo a conta processo por processo, dois lotes citados como conformes tinham nota fiscal com divergência não resolvida, e o percentual real de conformidade era bem menor. O texto soava como garantia jurídica; o número era uma aposta vestida de certeza.
A IA montou o relatório de experiência de entrega do trimestre, com NPS de pós-compra e um veredito de "logística que encanta o cliente". Quase foi direto pra apresentação de marca. Refazendo a conta a partir das respostas brutas da pesquisa, a IA tinha contado quem não respondeu como neutro favorável, e o NPS real era bem mais baixo. A prosa era convincente, o número era inflado, e a campanha do próximo trimestre quase se apoiou numa percepção de cliente que não existia.
A IA resumiu o indicador de absenteísmo do time de operação e cuspiu uma taxa de 4%, com um parágrafo seguro sobre "quadro estável". Quase virou slide pro comitê de gente. Refazendo a conta a partir do ponto eletrônico, contando também as faltas não justificadas que a IA tinha deixado de fora, a taxa real era 11%. Sete pontos de estabilidade inventados, prontos pra virar decisão de não reforçar o time num turno que já estava no limite.
Para priorizar melhorias no app de rastreamento, a IA calculou a taxa de entregas rastreadas em tempo real e escreveu uma recomendação convincente sobre onde investir primeiro. Quase entrou direto na especificação. Refazendo o cálculo à parte, a IA tinha contado como "rastreada" toda entrega com qualquer atualização de status, mesmo sem geolocalização, e a cobertura real de rastreio ao vivo era um terço do reportado. A prioridade escolhida era a errada, e a prosa segura não dava nenhuma pista do furo.
No fechamento do mês, a IA consolidou o indicador de pontualidade que sustenta o desconto contratual com o maior cliente e escreveu que a operação tinha direito ao bônus por performance. Quase foi direto pro e-mail de cobrança. Conferindo entrega por entrega, a IA tinha aplicado a janela de tolerância errada, mais generosa que a do contrato, e o indicador real ficava abaixo do limite do bônus. O e-mail quase saiu cobrando um valor que a operação não tinha direito a receber.
Sexta à tarde, fechamento semanal do centro de distribuição. A IA puxa o relatório do WMS e devolve o fill rate da semana: "94%, dentro da meta". O supervisor de operações ia colar isso direto no relatório que vai pro cliente na segunda. Refazendo o cálculo a partir dos pedidos brutos, incluindo os itens substituídos por falta de estoque que a IA tinha contado como "atendidos", o fill rate real era 79%. Quinze pontos de diferença entre o que ia pro cliente e o que realmente aconteceu no chão, e a única coisa que impediu o erro de sair foi o supervisor ter o hábito de conferir antes de assinar.
Para o relatório de risco trimestral, a IA consolidou o número de incidentes de segurança no transporte de carga e escreveu um parágrafo tranquilizador sobre o nível de exposição. Quase entrou no report ao comitê assim mesmo. Conferindo a fonte de cada caso no sistema de ocorrências, a IA tinha contado dois incidentes que pertenciam a outra unidade e omitido um relevante que estava classificado sob outro código. O total de risco estava maquiado, com a mesma confiança de um controle interno auditado de verdade.
Depois de um pico de pedidos, a IA calculou o uptime do sistema de roteirização do trimestre a partir dos logs e escreveu um relatório com a frase "disponibilidade dentro do SLA de 99,9%". Quase foi direto pro status report da diretoria. Refazendo a conta à parte, a IA tinha ignorado a janela de degradação parcial em que o sistema respondia lento mas não caía, e o uptime real de performance aceitável era 99,1%. O número não fechava o SLA contratado com o provedor de tecnologia.
A IA resumiu a pesquisa de satisfação do motorista com o app de rota e cuspiu uma taxa de adoção de 88%, com um parágrafo seguro sobre o app "estar pronto para expandir". Quase virou recomendação direta pro time de operações. Revisando os dados de uso reais, a IA tinha contado como "adotado" qualquer motorista que abriu o app uma vez, mesmo sem usar a rota sugerida. A adoção real de uso contínuo era 51%, e o número bonito quase liberou uma expansão em cima de um app que a maioria ainda não confiava de verdade.
Para o board deck do trimestre, a IA calculou a participação da operação própria versus terceirizada nas entregas e escreveu um parágrafo confiante sobre "internalização avançando conforme o plano". Quase entrou no slide de abertura sem revisão. Conferindo a fonte, a IA tinha somado rotas de dois centros de distribuição diferentes com critérios de contagem distintos, e o avanço real era bem menor. A narrativa de internalização que o board levaria pro investidor estava apoiada num número que ninguém tinha conferido.
Putz, para um segundo nesse "quase". Em todos esses casos o indicador errado quase passou, não porque o coordenador era descuidado, mas porque a IA entrega um painel errado com a mesma confiança com que entrega um painel certo. Esse é o ponto desconfortável desta aula: a saída numérica de uma IA sobre indicador de operação não é confiável por padrão. E na operação, onde um indicador vira relatório pro cliente, decisão de contratação e renovação de contrato, isso não é detalhe. É a diferença entre gestão de verdade e roleta com planilha bonita.
A ideia central desta aula. A IA é excelente de texto e péssima como fonte de verdade numérica sobre indicadores: ela inventa valor quando falta dado, cita uma conta que não fez, troca numerador por denominador, erra ordem de grandeza, e entrega tudo com confiança total. Por isso o indicador que a IA calcula é uma proposta, não uma verdade. Auditar não é desconfiar da ferramenta, é higiene profissional que protege a sua assinatura. O fechamento da aula é um checklist de cinco itens e um princípio inegociável: quem assina o indicador é sempre uma pessoa.
01Ótima de texto, péssima de verdade
Vale entender por que isso acontece, porque entender muda como você usa a ferramenta. A IA que você usa é, na essência, uma máquina de prever a próxima palavra que soa bem. Ela é treinada pra que o texto seja fluente, plausível e confiante. Ninguém a treinou pra que a conta do SLA feche. São dois objetivos diferentes, e ela só persegue o primeiro.
O efeito colateral é cruel pra operação. A mesma habilidade que faz a IA escrever um parágrafo de painel impecável faz ela escrever um indicador impecável que está errado. Ela não tem um senso interno de "isto não pode estar certo pra um centro de distribuição desse tamanho". Quando falta um dado, ela não trava: ela preenche com algo plausível. No texto, isso é um detalhe estranho que você percebe. Num indicador, é um número com a mesma cara de todos os outros, e você não percebe.
Repare nos quatro modos clássicos de falha, porque o seu checklist vai mirar exatamente neles. Ela inventa valor quando falta dado no sistema de origem. Ela cita uma conta que não fez, descrevendo um cálculo de SLA ou de fill rate que parece ter acontecido mas não aconteceu. Ela troca numerador por denominador, ou conta "atendido" quando devia contar "atendido no prazo". E ela erra ordem de grandeza, com um ponto percentual a mais ou a menos que passa despercebido no meio da prosa segura. Os quatro saem com a mesma confiança absoluta. A confiança não é sinal de acerto, é só o tom padrão da ferramenta.
02O paradoxo da sensação: você acha que o painel está certo
Aqui entra o estudo que mais deveria te fazer parar pra pensar. Em 2025, o METR mediu profissionais experientes trabalhando com e sem IA em tarefas reais. O resultado esperado era ganho de velocidade. O que apareceu foi o contrário: com a IA, eles ficaram cerca de 19% mais lentos. E a parte traiçoeira: eles achavam que estavam mais rápidos. A sensação dizia "ganhei tempo" enquanto o cronômetro dizia "perdi tempo".
Por que isso importa numa aula de auditoria de indicador? Porque a sensação de acerto funciona igual à sensação de velocidade. Quando a IA te entrega um painel bonito, bem formatado, com uma frase de conclusão convincente, o seu cérebro registra "isto está resolvido" e relaxa a guarda. A fluência da entrega gera uma confiança que não foi conquistada por nenhuma verificação. Você se sente coberto sem estar coberto.
No texto solto, essa sensação custa barato. Num indicador de operação, ela custa caro. A mesma falsa confiança que fez o profissional do METR achar que ganhou tempo faz você achar que o SLA está certo. E o indicador errado que "parece certo" é justamente o que atravessa a sua revisão e chega no cliente, no board, no comitê de qualidade. O frame econômico é direto: a sensação é grátis de produzir e cara de acreditar.
03O checklist de auditoria do indicador de operação
Aqui está o coração da aula. Auditar um indicador não é um talento, é um procedimento. Cinco perguntas, na ordem, antes de qualquer indicador calculado pela IA sair com o seu nome. Pensa nelas como um funil: cada pergunta peneira um tipo de erro, e o que passa pelas cinco é um número que você pode defender.
A primeira: a conta fecha quando refeita à parte? Esta é a rainha. Você ou outra ferramenta refaz o cálculo do SLA, do fill rate, do custo por entrega, de forma independente, sem olhar a resposta da IA, e os dois batem. Se você só conferiu lendo a explicação da IA, você não auditou nada, você foi convencido. Refazer à parte é o que pega a entrega reaberta contada como sucesso e o denominador trocado.
A segunda: a fonte de cada número existe e bate? Todo indicador entra a partir de algum lugar: o WMS, o TMS, o sistema de tickets. Você checa se a fonte existe de verdade e se o valor citado bate com ela. É isso que pega a conta que a IA disse ter feito mas não fez.
A terceira: as premissas do indicador estão explícitas? Todo indicador operacional carrega suposição: o que conta como "no prazo", o que conta como "reaberto", qual o período de corte, o que entra e o que não entra na base. Se as premissas estão escondidas na prosa, o indicador está escondendo de você do que ele é feito. Premissa implícita é onde o erro se esconde.
A quarta: algum sinal ou ordem de grandeza está estranho? Este é o teste do faro. Você dá um passo atrás e olha o número como gente: faz sentido um SLA de 98% numa operação que você sabe que andou capenga esse mês? Um zero a mais ou uma métrica invertida raramente sobrevive a um olhar de bom senso, desde que você pare pra dar esse olhar.
A quinta, e a mais importante: quem assina sabe defender? Se você precisasse explicar esse indicador na frente do cliente numa reunião de resultado, linha por linha, conseguiria? Se a resposta for "não, foi a IA que calculou", o indicador não está pronto. Um número que ninguém sabe defender é um número órfão, e número órfão não sai.
04A régua RESPONDER: a IA propõe, o humano confere, a pessoa assina
O checklist tem um princípio por trás, e esse princípio é o que sustenta tudo. O movimento RESPONDER trata exatamente disto: máquina de decisão com a responsabilidade ancorada num nome humano. Aplicado à operação, ele vira uma régua de três tempos que você nunca colapsa.
A IA propõe. Ela é rápida, incansável e ótima pra gerar o rascunho do indicador, a primeira versão do cálculo, o esboço do relatório de SLA. Use ela à vontade aqui, é onde ela brilha. Mas proposta é proposta: nada que ela produz é verdade só porque ela produziu.
O humano confere. É o checklist das cinco perguntas rodando. Esse passo não é opcional, não é "quando der tempo". É o passo que transforma uma proposta da máquina num indicador auditado. Pular este passo é o erro que faz o indicador errado quase passar, igual nos exemplos do começo.
E a pessoa assina. Aqui está o ponto que não tem volta: quem assina o indicador é uma pessoa, sempre. Quando o número sai com o seu nome, numa QBR com o cliente, num relatório pro comitê de qualidade, numa apresentação de resultado, a responsabilidade é sua, inteira. "Foi a IA que calculou" não existe como desculpa. Não existe na reunião com o cliente, não existe na auditoria, não existe na conversa difícil depois que o indicador errado virou promessa quebrada. A máquina não tem nome, não tem crachá e não vai à reunião defender o painel. Você vai.
05Auditar não é desconfiar: é proteger sua assinatura
Deixa eu desfazer uma resistência comum antes de fechar. Tem gente que sente que auditar o indicador da IA é não confiar na ferramenta, que é retrabalho, que é não aproveitar o ganho de velocidade. Esse frame está errado, e ele é caro.
Auditar não é desconfiança, é higiene. Você não confere o SLA porque acha a IA burra, você confere porque qualquer número que vai sair com o seu nome merece esse cuidado, venha da IA, de um estagiário ou de você mesmo às onze da noite. O supervisor experiente refaz a conta não porque desconfia do sistema, mas porque é assim que se trabalha com indicador que vira relatório de cliente. A IA é uma calculadora que às vezes inventa o resultado e nunca avisa. A auditoria é a higiene profissional que isso exige.
E o frame econômico fecha o argumento. O custo de auditar é minutos. O custo de não auditar é um SLA errado numa QBR, uma renovação de contrato negociada em cima de um fill rate inflado, uma reputação de operação que levou anos pra construir e desmorona num print. Minutos contra isso não é retrabalho, é o melhor seguro barato que existe. A IA te devolve tempo na proposta; você reinveste uma fração desse tempo na conferência e fica com o ganho líquido e com a sua assinatura protegida.
Faça agora
Pegue um indicador operacional real que você produziria ou produziu com ajuda de IA (a sua tarefa real serve bem: SLA, fill rate, custo por entrega, tempo de ciclo). Sua tarefa não é refazer a conta agora, é montar o SEU próprio checklist de auditoria de cinco itens, adaptado ao seu contexto. Pra cada item, escreva a pergunta na sua linguagem e a verificação concreta que você faria:
- A CONTA FECHA REFEITA À PARTE? Como, exatamente, você refaria esse indicador de forma independente, sem olhar a resposta da IA? (qual sistema, qual cálculo, quem faz)
- A FONTE EXISTE E BATE? Quais são as fontes que alimentam esse indicador (WMS, TMS, sistema de tickets, ponto eletrônico), e como você confere que cada valor bate com a fonte real?
- AS PREMISSAS ESTÃO EXPLÍCITAS? Liste as três premissas mais importantes embutidas nesse indicador (o que conta como "no prazo", o que conta como "reaberto", qual período). Estão escritas ou estão escondidas?
- SINAL OU GRANDEZA ESTRANHA? Qual o teste de faro: que valor, se aparecesse, faria você parar na hora e dizer "isso não pode estar certo pra minha operação"?
- QUEM ASSINA DEFENDE? Escreva, em uma frase, o nome da pessoa que assina esse indicador e a defesa de uma linha que ela daria numa reunião com o cliente. Se você não consegue escrever essa frase, o indicador ainda não está pronto.
Guarde esse checklist. Ele vale pra todo indicador que você for produzir com IA daqui pra frente.
Pratique
1. A IA entregou um painel de SLA com um texto executivo impecável e muito convincente. Qual é a leitura correta antes de você usar esse número?
2. O estudo do METR (2025) mostrou que profissionais experientes ficaram cerca de 19% mais lentos com IA, mas achavam que estavam mais rápidos. O que isso ensina sobre confiar num indicador sem checar?
3. Um indicador calculado por IA saiu com o nome de um supervisor num relatório pro cliente e estava errado. Quem responde por esse número?
Beleza? O recado da aula é direto e econômico: o indicador da IA é uma proposta barata e rápida, e isso é ótimo, desde que você nunca confunda proposta com verdade. As cinco perguntas levam minutos; o indicador errado que passa custa muito mais. Auditar não é frear a IA por medo nem desconfiar da ferramenta, é a higiene que protege a sua assinatura. A IA propõe, você confere, e quem assina é você. Sempre.
Para o quadro
Sobre o painelele mente com convicção. Saída numérica não é confiável por padrão, por mais bonito que esteja o texto.
Sobre a sensaçãoachar que o número está certo é o que faz você relaxar a guarda sem ter conferido nada.
Sobre a assinaturaa IA propõe, o humano confere, a pessoa assina. A responsabilidade não migra para a ferramenta.
Valeu pelo feedback. Isso ajuda a afiar a próxima aula.