O transformer e a atenção: como o GPT junta tudo

Lê essas duas frases comigo: "sentei no banco da praça" e "o banco me cobrou juros". É a mesma palavra, "banco", e ela significa duas coisas que não têm nada a ver. E você resolveu qual é qual sem nem perceber que resolveu, num piscar. Putz, pensa no tamanho disso: o seu cérebro fez uma conta complicadíssima de graça, no automático. A pergunta desta aula, que é a última e a mais funda da trilha, é simplesmente: como a IA faz a mesma coisa? A resposta é a ideia que destravou a IA moderna de vez, e ela tem até um nome bonito: atenção. Essa é a aula mais conceitual do curso, então vou te levar devagar, só na intuição, sem uma conta sequer. Pensa comigo. Beleza?

Leia estas duas frases: "sentei no banco da praça" e "o banco me cobrou juros". A palavra "banco" é a mesma, e significa coisas completamente diferentes. Você sabe qual é qual sem esforço, e a IA também. A pergunta desta aula, a última e mais profunda da trilha, é: como? A resposta é a ideia que destravou a IA moderna, e ela tem um nome bonito: atenção.

01O problema: o sentido depende da vizinhança

As palavras não têm um sentido fixo, sozinhas; o sentido vem da companhia, de quem está do lado. "Manga" é fruta ou é parte da camisa? "Ponto" é de ônibus, de costura ou de vista? Não dá pra saber olhando a palavra isolada; você é obrigado a olhar a vizinhança. E aqui vai a sacada: qualquer sistema que queira entender linguagem de verdade tem, de algum jeito, que deixar cada palavra consultar as colegas em volta. Sem isso, não tem como.

Antes do transformer, os sistemas liam as palavras mais ou menos em fila, uma depois da outra, e sofriam pra fazer uma palavra lá do comecinho conversar com uma lá do fim da frase. Era igual tentar entender uma reunião ouvindo uma pessoa de cada vez, sem poder cruzar o que a primeira falou com o que a última disse vinte minutos depois. No fim, você perdeu o fio.

02A solução: cada palavra procura, e cada palavra oferece (atenção)

Dizer que "a palavra olha as outras e dá mais peso às que importam" até descreve o resultado, mas é meio mágico, não conta como ela decide o que importa. E eu não gosto de explicação mágica. O mecanismo de verdade é mais concreto, e por isso mais bonito. Imagina uma feira, e cada palavra chega nessa feira com dois cartões na mão:

• Um cartão "procuro": o que ela precisa para se resolver. "Banco" procura algo que diga se ela é móvel ou instituição.
• Um cartão "ofereço": o assunto que ela entrega a quem perguntar. "Juros" oferece "assunto de dinheiro"; "praça" oferece "assunto de lugar público".

A atenção é essa feira onde os cartões se encontram. Cada palavra pega o seu "procuro" e compara com o "ofereço" de todas as outras ao mesmo tempo, num lance só. Onde o pedido casa com a oferta, a ligação fica forte; onde não casa, fica fraca e some. O "procuro" de "banco" casa com o "ofereço" de "juros", então "banco" puxa um peso forte de "juros" e resolve o seu sentido como instituição. Aí você troca a frase pra "banco da praça" e o mesmíssimo "procuro" passa a casar com "praça", e o sentido vira o outro. Essa força de ligação onde o pedido encontra a oferta é exatamente o que chamam de "dar mais atenção". Não tem nada de místico: é casamento de cartão.

Cada palavra leva dois cartões; a atenção é o encontro entre o "procuro" de uma e o "ofereço" da outra:

Repara na elegância, porque é de cair o queixo: a IA não tem uma regra escrita dizendo "se aparecer juros, banco é instituição". Ninguém programou isso. Ela aprendeu sozinha, dos exemplos, o que cada palavra procura e o que cada uma oferece, e deixa os cartões se casarem na hora. A atenção é esse mercado de "procuro" e "ofereço" que o sistema aprendeu a tocar. E note como isso te baixa a IA do pedestal: o "milagre" do GPT entender ambiguidade é, no fundo, um leilão de cartões bem organizado.

Troque a frase abaixo e veja o vínculo pular: o arco grosso sai de "praça" e vai para "juros", e o sentido de "banco" vira junto. Passe o mouse (ou o foco do teclado) num termo para isolar a ligação.

A mesma palavra, duas frases. O contexto que ela mais "olha" decide o sentido.

03O transformer, e por que isso importou tanto

O transformer é a arquitetura que pegou essa ideia de atenção e empilhou ela em camada sobre camada, deixando as palavras se olharem várias e várias vezes, todas em paralelo, pra ir refinando o sentido. Duas coisas o tornaram revolucionário, e eu falo isso sem o hype de marketing que você ouve por aí. Primeira: ele deixa qualquer palavra conversar com qualquer outra direto, por mais longe que estejam, e isso mata o problema do começo não alcançar o fim. Segunda: ele processa a frase inteira de uma vez, em paralelo, o que destravou treinar numa escala que antes era impossível.

A imagem que cola pra mim é essa: antes do transformer era um telefone sem fio, as palavras em fila passando o recado de boca em boca, e o começo se perdia no caminho até chegar lá na ponta. O transformer pegou todas e botou numa mesa redonda, cada uma olhando todas ao mesmo tempo, de uma vez. Foi essa dupla, atenção mais paralelismo, que destravou a linguagem em escala e tornou possíveis as LLMs que você usa hoje. Quando alguém solta "GPT", o "T" é de transformer. E você não precisa de mais detalhe técnico que isso pra entender o coração da coisa: o GPT é uma pilha de atenção, treinada pra prever a próxima palavra, em escala gigante. Só isso. Parece pouco, mas é o motor todo.

04Faça você

E pronto, você chegou ao fim da segunda travessia. Não pra virar engenheiro de IA, fica tranquilo, esse nunca foi o objetivo. Mas pra que, da próxima vez que alguém soltar "transformer", "atenção" ou "rede neural" na sua frente, você não sinta aquele frio de que é assunto de outro planeta, coisa pra gênio. Você abriu o capô e viu com os próprios olhos: o motor, no fundo, é feito de ideias simples postas numa escala absurda. E é exatamente isso que te coloca à frente de muita gente que ainda trata tudo isso como magia. Quem entende o mecanismo para de ter medo dele e começa a mandar nele. Quanto mais artificial o mundo fica, mais esse tipo de lucidez, saber o que é a ferramenta de verdade, vira o seu diferencial humano. Você está bebendo dessa água cedo. Beleza? Próxima.

Pratique

Para o quadro