Prever a próxima palavra: o coração da LLM
No fundo, a LLM faz uma coisa só: prever qual palavra vem a seguir. Repetida milhões de vezes, essa tarefa simples vira escrever, resumir e responder. É surpreendentemente poderoso, e tem consequências.
Pense comigo um minuto. O teclado do seu celular faz, num nível bobo, o que a LLM faz num nível extraordinário: ele tenta adivinhar a próxima palavra que você vai digitar. "Bom" sugere "dia"; "muito" sugere "obrigado". É a mesma ideia, e entender essa ideia simples explica quase tudo sobre como a IA escreve.
Eu vou ser honesto com você: quando entendi isso, parei de achar a IA mágica e parei de achar a IA burra ao mesmo tempo. Caiu a ficha de que, no fundo, ela é uma calculadora de próxima palavra. Uma calculadora absurdamente boa, treinada num mar de texto, mas uma calculadora. E é exatamente por ser isso que ela escreve coisas geniais e, no instante seguinte, inventa um número com a mesma cara de quem está certíssima. Quando você enxerga o motor por baixo do capô, para de brigar com o resultado e começa a usar a coisa com a postura certa. Beleza? Vamos por dentro.
A ideia central desta aula. Por trás de toda a aparente inteligência de uma LLM, há uma tarefa única e quase boba: prever qual palavra vem a seguir num texto. Só isso. O que parece mágica é essa previsão feita muito, muito bem, e repetida: prevê uma palavra, acrescenta, prevê a próxima a partir do texto já maior, e segue, até formar um parágrafo inteiro. Escrever, resumir, responder, tudo emerge de prever a próxima palavra. Ao final, você vai entender como uma tarefa tão simples vira textos completos, e por que esse mesmo mecanismo explica quando a IA inventa.
01Uma palavra de cada vez
Aqui mora a primeira surpresa. A LLM não escreve um texto de uma vez, pensando no todo como a gente imagina que ela pensa. Ela escreve uma palavra de cada vez. Você dá um começo, ela prevê a palavra mais provável de vir a seguir, acrescenta essa palavra ao texto, e então prevê a próxima a partir do texto agora um pouco maior. Repete isso centenas de vezes, e o resultado é uma resposta inteira que parece pensada do começo ao fim. Não foi. Foi previsão, repetida muito rápido.
flowchart LR T[O céu está] --> P[prevê: azul] P --> T2[O céu está azul] --> P2[prevê: hoje] P2 --> T3[O céu está azul hoje...]
É como construir uma frase colocando um tijolo de cada vez, onde cada tijolo é escolhido olhando todos os anteriores. Nenhum tijolo sozinho é impressionante. A construção inteira, sim.
02Por que prever a próxima palavra basta para tanto
Putz, parece pequeno demais para explicar tudo que a IA faz, né? Pense comigo, porém: para prever consistentemente a próxima palavra de qualquer texto, o sistema precisou aprender uma quantidade absurda de coisa. Para completar "a capital da França é ___", ele precisou aprender geografia. Para completar "2 mais 2 é ___", aritmética básica. Para continuar uma argumentação, precisou aprender como argumentos se encadeiam. A previsão da próxima palavra, levada a sério em escala gigante, força o sistema a absorver padrões sobre o mundo inteiro contidos no texto. Essa é a sacada bonita: a tarefa é boba, mas a única forma de ficar bom nela é entender muito.
Por isso uma tarefa tão simples produz tanto. Resumir é prever as palavras de um resumo. Responder é prever as palavras de uma resposta. Traduzir é prever as palavras na outra língua. É tudo a mesma calculadora de próxima palavra, apontada para alvos diferentes. Não existe um "módulo de resumo" e um "módulo de tradução" lá dentro. Existe um motor só, e ele é esse.
03A consequência: por que a IA inventa com confiança
Aqui está a parte mais útil de entender o mecanismo, e quero que você guarde isso. Se a IA escolhe sempre a palavra mais provável, e não a mais verdadeira, então quando ela não tem a informação, ela ainda assim prevê a continuação mais plausível. O resultado é um texto que soa perfeitamente confiante e correto, e que pode estar errado. Não é mentira no sentido humano. É a calculadora fazendo o que faz: prever o que soa certo.
Isso explica o que se chama de "alucinação": a IA inventar uma fonte, um número, uma citação que não existe, com a mesma confiança de um fato real. Para ela, ambos são apenas continuações prováveis. Por isso a verificação (que você viu na travessia principal) não é opcional: o mecanismo de previsão é ótimo em soar certo e não tem, embutido, um detector de verdade. Eu já tomei aquele puta susto de pegar um número lindo da IA, usar, e descobrir depois que ela tinha inventado. Faz parte, e tem solução: você confere.
Em vez de só ler, opere o motor. Abaixo está a calculadora de próxima palavra: cada barra é uma candidata com a sua probabilidade. Mexa na temperatura e veja a distribuição mudar ao vivo. Troque para o começo de nicho (a norma estadual) e repare como as barras achatam: nenhuma vence com folga. É nesse achatamento que a alucinação nasce. Clique em "Gerar" algumas vezes com a temperatura alta e você vai ver a máquina escolher uma palavra de baixa probabilidade, e soar confiante do mesmo jeito.
A IA prevê a próxima palavra escolhendo dentro de uma lista de candidatas com probabilidades diferentes. A temperatura controla o quanto ela arrisca: baixa fica quase sempre na mais provável, alta dá chance às menores. Em prefixos de nicho a distribuição achata, e é aí que nasce a alucinação.
A mesma máquina, três começos. No de nicho, "mais provável" deixa de significar "certo".
04Faça você
Pegue o seu celular e abra qualquer app de mensagem. Comece a digitar uma frase e, em vez de escolher as suas palavras, vá tocando sempre na primeira sugestão do teclado, uma atrás da outra.
Em poucos toques sai uma frase que quase faz sentido, e que você não escreveu. Você acabou de operar uma LLM minúscula: previsão da próxima palavra, repetida. A LLM de verdade é isso mesmo, só que treinada em uma escala que faz as frases saírem coerentes e úteis em vez de bobas. Mesmo mecanismo, escala incomparável.
Saiba mais: por que "provável" não é "verdadeiro"
Quando a IA prevê a próxima palavra, ela está, no fundo, escolhendo dentro de uma lista de candidatas com probabilidades diferentes, e quase sempre pega uma das mais prováveis. O detalhe que muda tudo é que "provável dado o texto" não é a mesma coisa que "verdadeiro no mundo". Numa pergunta cuja resposta ela viu mil vezes, o provável bate com o verdadeiro e ela acerta. Numa pergunta de nicho, onde ela nunca viu a resposta, o mais provável é só o que soa parecido com a verdade, e aí nasce a alucinação. Não é defeito de um modelo específico: é o que acontece quando o motor é previsão de plausibilidade e não busca de fato. Por isso a régua não é "esse modelo mente", é "todo modelo precisa de conferência onde o erro custa caro".
A próxima aula mostra como a IA enxerga o texto que vai prever (não em letras nem palavras inteiras, mas em pedaços chamados tokens) e o que ela consegue "segurar" de uma vez.
Pratique
1. Como uma LLM escreve um texto?
2. Por que prever a próxima palavra basta para a IA fazer tanta coisa (resumir, responder, traduzir)?
3. Por que a IA às vezes inventa um fato (uma fonte, um número) com total confiança?
Para o quadro
Sobre o coraçãoa LLM faz uma coisa só, prever a próxima palavra, uma de cada vez, repetida até formar a resposta.
Sobre o poderpara prever bem, ela absorveu padrões do mundo inteiro contidos no texto. Resumir, responder e traduzir são tudo a mesma previsão.
Sobre a confiançaela prevê o que soa certo, não o que é verdade. Por isso conferir o conteúdo não é opcional: o mecanismo não tem detector de verdade.
Pra levarvocê acabou de desmistificar a IA. Ela não é um oráculo nem é burra: é uma calculadora de próxima palavra, absurdamente boa, sem detector de verdade embutido. Quem entende isso para de pedir milagre e de se indignar, e passa a usar a coisa com a postura certa, confiando na fluência e conferindo o conteúdo. Isso já te coloca à frente de muita gente que usa a IA todo dia e não faz ideia do que está acontecendo por baixo. Beleza? Próxima.
Valeu pelo feedback. Isso ajuda a afiar a próxima aula.