A auditoria: quando a IA inventa a métrica de produto
A IA escreve bem e calcula mal, com cara de certeza total. Esta aula te dá um checklist de auditoria de cinco itens para toda métrica de produto (retenção, ativação, adoção) e o princípio de que quem assina o número é sempre uma pessoa.
Um PM pediu para a IA montar o resumo de retenção do trimestre. Veio um texto impecável, com uma taxa de retenção em D30 e uma frase de conclusão que parecia escrita por um head de produto experiente. Ele quase colou no board deck. Antes de enviar, refez o cálculo direto no Amplitude por hábito: a retenção batida pela IA era de 42%. No painel real, era 29%. A IA tinha contado como retido um usuário que só abriu o app uma vez no período. Treze pontos de retenção inventados, prontos para virar decisão de roadmap.
No fechamento, a IA cuspiu um fluxo de caixa projetado lindo. Refazendo a conta à parte, o número não fechava: a IA tinha trocado o sinal de uma saída por entrada.
Para uma due diligence, a IA calculou o passivo trabalhista consolidado e escreveu um parágrafo seguro sobre o risco. Refazendo a conta processo por processo, dois dos citados não existiam na base.
A IA montou o relatório de ROI da campanha com um veredito de "campanha saudável". Refazendo a conta à parte, o LTV usava um ticket médio inventado, e o ROI real era metade do reportado.
A IA montou o resumo da pesquisa de clima e cuspiu um eNPS de 62, com um parágrafo seguro sobre "engajamento acima da média". Refazendo a conta a partir das respostas brutas, o eNPS real era 41.
Um PM pediu para a IA montar o resumo de ativação e retenção do trimestre pra apresentar no all-hands. Veio um texto impecável, com uma retenção em D30 de 42% e uma frase de conclusão que parecia escrita por um head de produto experiente: "a feature nova elevou significativamente a retenção do time". Ele quase subiu no palco com aquele número. Antes de apresentar, refez o cálculo direto no Amplitude por hábito: a retenção real era 29%, treze pontos abaixo. A IA tinha contado como usuário retido qualquer um que abriu o app uma única vez no período, mesmo sem ter voltado depois. O texto soava como análise de produto sênior; o número era ficção com dashboard.
No fechamento do mês, a IA consolidou o forecast do pipeline e escreveu que o time bateria a meta com folga. Conferindo deal por deal, a IA tinha aplicado cem por cento de probabilidade a oportunidades ainda em negociação.
A IA montou o relatório de SLA do trimestre e escreveu que a operação cumpriu 98% dos prazos. Refazendo a conta a partir dos logs brutos, a IA tinha deixado de fora os chamados reabertos, e o SLA real era 86%.
Para o relatório de risco anual, a IA consolidou o número de incidentes de tratamento de dados e escreveu um parágrafo tranquilizador. Conferindo a fonte de cada caso, a IA tinha contado dois incidentes de outro período.
Depois do incidente, a IA calculou o uptime do trimestre e escreveu "disponibilidade dentro do SLA de 99,9%". Refazendo a conta à parte, a IA tinha ignorado a janela de degradação parcial.
A IA resumiu a rodada de testes de usabilidade e cuspiu uma taxa de sucesso de tarefa de 88%. Revisando as sessões gravadas, a IA tinha contado como sucesso usuários que abandonaram o fluxo no meio.
Para o board deck do trimestre, a IA calculou o market share da empresa e escreveu um parágrafo confiante sobre "liderança consolidada". Conferindo a fonte, ela tinha somado dados de dois recortes de mercado diferentes.
Putz, para um segundo nesse "quase". Em todos esses casos o número errado quase passou, não porque a pessoa era descuidada, mas porque a IA entrega errado com a mesma confiança com que entrega certo. Esse é o ponto desconfortável desta aula: a saída numérica de uma IA não é confiável por padrão. E em produto, onde uma métrica de retenção ou de adoção vira decisão de roadmap, contratação de time e apresentação pro board, isso não é detalhe. É a diferença entre profissionalismo e roleta.
A ideia central desta aula. A IA é excelente de texto e péssima como fonte de verdade numérica: ela conta errado, aplica um critério diferente do que você pediu, arredonda pra cima, e entrega tudo com confiança total. Por isso a métrica que a IA calcula é uma proposta, não uma verdade. Auditar não é desconfiar da ferramenta, é higiene profissional que protege a sua assinatura. O fechamento da aula é um checklist de cinco itens e um princípio inegociável: quem assina a métrica é sempre uma pessoa.
01Ótima de texto, péssima de verdade
Vale entender por que isso acontece, porque entender muda como você usa a ferramenta. A IA que você usa é, na essência, uma máquina de prever a próxima palavra que soa bem. Ela é treinada para que o texto seja fluente, plausível e confiante. Ninguém a treinou para que a conta feche. São dois objetivos diferentes, e ela só persegue o primeiro.
O efeito colateral é cruel para o produto. A mesma habilidade que faz a IA escrever um parágrafo de análise impecável faz ela escrever uma métrica impecável que está errada. Ela não tem um senso interno de "isto não pode estar certo". Quando falta clareza sobre o critério (o que conta como "usuário retido", o que conta como "ativado"), ela não trava: ela escolhe um critério plausível sozinha, e às vezes esse critério não é o seu.
Repare nos modos clássicos de falha. Ela conta como sucesso o que na verdade foi abandono. Ela aplica um critério de "ativação" diferente do que o time definiu. Ela arredonda pra cima porque o texto "soa melhor" com o número redondo. Ela soma coortes que não deveriam ser somadas. Todos saem com a mesma confiança absoluta.
02O paradoxo da sensação: você acha que está mais rápido
Aqui entra o estudo que mais me fez parar para pensar. Em 2025, o METR mediu profissionais experientes trabalhando com e sem IA em tarefas reais. O resultado esperado era ganho de velocidade. O que apareceu foi o contrário: com a IA, eles ficaram cerca de 19% mais lentos, e a parte traiçoeira é que eles ACHAVAM que estavam mais rápidos.
Por que isso importa numa aula de auditoria de métrica? Porque a sensação de acerto funciona igual à sensação de velocidade. Quando a IA te entrega uma métrica bonita, bem formatada, com uma explicação convincente sobre por que a feature funcionou, o seu cérebro registra "isto está resolvido" e relaxa a guarda. No produto, essa falsa confiança custa caro: o número errado que "parece certo" é justamente o que atravessa a sua revisão e chega no all-hands, na reunião de board, na decisão de dobrar o investimento numa feature que na verdade não estava performando.
03O checklist de auditoria da métrica de produto
Aqui está o coração da aula. Auditar uma métrica não é um talento, é um procedimento. Cinco perguntas, na ordem, antes de qualquer métrica calculada por IA sair com o seu nome.
A primeira: a conta fecha quando refeita à parte, direto na fonte? Você abre o Amplitude, o painel ou a planilha de origem e recalcula sem olhar a resposta da IA. Se os dois batem, seguimos. Se você só conferiu lendo a explicação da IA, você não auditou nada, foi convencido.
A segunda: o critério usado é o mesmo que o time definiu? "Usuário retido", "ativado", "adotante" são definições que o seu time fixou em algum lugar. Se a IA usou um critério diferente (contou uma sessão como retenção, por exemplo), o número está certo pra definição errada.
A terceira: as premissas estão explícitas? Qual período, qual segmento, o que entra e o que não entra na base. Premissa escondida na prosa é onde o erro se esconde.
A quarta: algum sinal ou ordem de grandeza está estranho? Dá um passo atrás: essa retenção de 42% faz sentido pro seu produto, no seu histórico? Um salto grande demais raramente sobrevive a um olhar de bom senso.
A quinta, e a mais importante: quem assina sabe defender esse número no all-hands, linha por linha? Se a resposta for "não, foi a IA que calculou", a métrica não está pronta.
Saiba mais: por que critério de métrica muda tudo, mesmo com o cálculo certo
Duas equipes podem calcular "retenção em D30" com fórmulas matematicamente corretas e chegar em números bem diferentes, só porque a definição de "retido" muda: abriu o app uma vez, ou completou uma ação de valor. A IA não sabe qual definição o SEU time usa, a menos que você diga explicitamente. O erro mais comum não é conta errada, é conta certa aplicada ao critério errado. Por isso o item dois do checklist (o critério é o mesmo que o time definiu) é tão importante quanto o item um (a conta fecha).
04A régua RESPONDER: a IA propõe, o humano confere, a pessoa assina
O checklist tem um princípio por trás. A IA propõe. Ela é rápida e ótima para gerar o rascunho da métrica, a primeira versão do cálculo. Use ela à vontade aqui. Mas proposta é proposta: nada que ela produz é verdade só porque ela produziu.
O humano confere. É o checklist das cinco perguntas rodando. Não é opcional, não é "se der tempo". É o passo que transforma uma proposta da máquina num número auditado.
E a pessoa assina. Quando a métrica sai com o seu nome, num all-hands, num board deck, a responsabilidade é sua, inteira. "Foi a IA que calculou" não existe como desculpa. A máquina não vai à reunião defender o número. Você vai.
05Auditar não é desconfiar: é proteger a sua assinatura
Auditar não é desconfiança da ferramenta, é higiene. O custo de auditar é minutos. O custo de não auditar é uma métrica errada no all-hands, uma decisão de roadmap tomada em cima de ficção, uma credibilidade arranhada que levou anos pra construir. A IA te devolve tempo na proposta; você reinveste uma fração desse tempo na conferência e fica com o ganho líquido E com a sua assinatura protegida.
Faça agora
Pegue uma métrica de produto real que você produziria ou produziu com ajuda de IA (a sua tarefa real serve bem). Monte o SEU checklist de auditoria de cinco itens, adaptado ao seu contexto:
- A CONTA FECHA REFEITA DIRETO NA FONTE? Como, exatamente, você recalcularia essa métrica de forma independente, sem olhar a resposta da IA?
- O CRITÉRIO É O MESMO QUE O TIME DEFINIU? Escreva a definição oficial de "retido", "ativado" ou "adotante" que o seu time usa, e confira se a IA usou essa mesma definição.
- AS PREMISSAS ESTÃO EXPLÍCITAS? Liste período, segmento e o que entra ou não na base.
- SINAL OU GRANDEZA ESTRANHA? Que valor, se aparecesse, faria você parar na hora e dizer "isso não pode estar certo"?
- QUEM ASSINA DEFENDE? Escreva o nome da pessoa que assina essa métrica e a defesa de uma linha que ela daria no all-hands.
Guarde esse checklist. Ele vale para toda métrica que você for produzir com IA daqui pra frente.
Pratique
1. A IA entregou um resumo de retenção do trimestre com um texto executivo muito convincente. Qual é a leitura correta antes de você usar o número?
2. Duas equipes calculam 'retenção em D30' com fórmulas matematicamente corretas e chegam a números bem diferentes. Qual é a explicação mais provável, segundo o checklist desta aula?
3. Um número de ativação calculado por IA saiu com o seu nome numa apresentação e estava errado. Quem responde por esse número?
Para o quadro
Sobre a naturezaótima de texto, péssima como fonte de verdade numérica. Proposta não é verdade.
Sobre a definiçãoduas fórmulas corretas e números diferentes é problema de critério, não de conta. Confira a definição que o time acordou.
Sobre a assinaturaa responsabilidade não migra para a ferramenta. Quem assina responde.
Valeu pelo feedback. Isso ajuda a afiar a próxima aula.