Biblioteca · Paper · 2024 · arXiv (Meta)

The Llama 3 Herd of Models

Grattafiori, A., Dubey, A., Jauhri, A., Pandey, A., et al. (Meta AI)

Demonstrou que modelos open-source de 405 bilhões de parâmetros podem alcançar paridade com GPT-4. Paper de 92 páginas é o manual de engenharia mais completo já publicado de um LLM frontier.

A leitura do Thiago

LLaMA 3 é o paper mais completo já publicado sobre como construir um LLM de fronteira, 92 páginas que documentam EM DETALHE escolhas de dados, arquitetura, treinamento, alinhamento e segurança da Meta. Ponto técnico mais relevante: o modelo de 405 bilhões de parâmetros (open-weights, baixe e rode em casa) iguala ou supera GPT-4 em vários benchmarks. Ponto comercial: a Meta liberou tudo com licença permissiva para uso corporativo, consolidando sua aposta de 'commoditizar o que minhas concorrentes vendem'.

Em linguagem executiva: este é o paper que provou que open-source não é apenas competitivo, é o caminho dominante para empresas que querem soberania sobre seus dados. Para corporações brasileiras, três implicações concretas: (1) já existe versão em português brasileiro (variantes ajustadas como Sabiá-3 e iniciativas acadêmicas como o Maritaca) construídas sobre LLaMA 3, não é mais necessário traduzir prompts para inglês para obter boa performance; (2) o paper documenta o pipeline COMPLETO de produção de um LLM corporativo (incluindo red teaming, segurança e governança), é leitura obrigatória para empresas considerando treinar ou ajustar modelos próprios; (3) o tamanho 70B do LLaMA 3 cabe em servidores corporativos razoáveis (4 GPUs H100, investimento na casa de USD 200-300 mil), viabiliza on-premises para bancos, hospitais e governos brasileiros que não podem usar API.

O que muda na prática

Para o líder de uma empresa em setor regulado, o LLaMA 3 resolve um impasse concreto: como usar IA generativa de alto nível sem mandar dados sensíveis para a API de terceiros. A resposta prática é que o modelo de 70 bilhões de parâmetros cabe em um servidor corporativo razoável, na casa de quatro GPUs de ponta e um investimento de algumas centenas de milhares de dólares, rodando dentro da sua própria infraestrutura. Para banco, hospital, seguradora e órgão público, isso transforma uma conversa que antes morria no jurídico ou na segurança da informação.

A decisão deixa de ser usar ou não usar IA, e passa a ser comprar o serviço hospedado para os casos sem dado sensível e rodar on-premises para os casos críticos. Saber dimensionar esses dois caminhos é o que separa um piloto travado de uma operação real. No dia a dia, há um ganho imediato e barato que muita empresa brasileira ainda não capturou: já existem variantes em português construídas sobre o LLaMA 3.

Na prática, você não precisa mais traduzir prompts para inglês nem aceitar respostas com sotaque estranho para ter boa qualidade. Se o seu time ainda escreve instruções em inglês para o assistente de atendimento ou para o gerador de relatórios, isso é retrabalho desnecessário. Teste as variantes em português antes de assumir que precisa do modelo americano.

A terceira ação é tratar o paper como manual de compra e de auditoria, não só de engenharia. As 92 páginas documentam o pipeline inteiro, incluindo testes adversariais de segurança, alinhamento e governança. Isso é munição para quem precisa avaliar fornecedor ou montar processo interno.

Quando alguém te vender uma solução de IA, você pode exigir que ele mostre como faz o equivalente ao que a Meta documentou: como testou segurança, como controla saídas indevidas, como governa o modelo. Se o fornecedor não souber responder, é sinal de que você está comprando demo, não produto pronto para produção.

O abstract original (inglês)
Modern artificial intelligence (AI) systems are powered by foundation models. This paper presents a new set of foundation models, called Llama 3. It is a herd of language models that natively support multilinguality, coding, reasoning, and tool usage. Our largest model is a dense Transformer with 405B parameters and a context window of up to 128K tokens.
llmopen-sourcemetamultilingual
Ler o paper original →
O que você achou desta página?
Recomendaria esta página para alguém do seu time?