ggml-org/llama.cpp

O que é, em uma frase honesta

llama.cpp é um motor enxuto que faz modelos de linguagem rodarem em máquinas comuns, sem precisar de servidores caros na nuvem nem placas de vídeo de ponta. Ele encolhe e otimiza o modelo (um processo chamado quantização, que é diminuir a precisão pra caber em menos memória) pra rodar num notebook, num servidor modesto ou até num celular. É infraestrutura de base, invisível, que muita outra ferramenta usa por baixo.

Para que serve na prática

Serve pra rodar IA localmente, dentro da sua casa, sem mandar dado pra fora. Uma empresa que não pode enviar informação de cliente pra nuvem de terceiros, um produto que precisa funcionar mesmo sem internet, ou um time que quer cortar o custo de pagar por cada chamada de API. Muitas ferramentas populares de IA local (incluindo o Ollama, que aparece neste mesmo mapa) usam o llama.cpp como motor por dentro.

Quando alguém diz 'rodamos o modelo na nossa máquina', boa chance de ser isto embaixo.

Quando faz sentido pra você que lidera

Faz sentido quando privacidade, custo recorrente ou controle são pontos inegociáveis pro seu negócio. A decisão de líder aqui é uma troca clara: rodar por conta própria te dá soberania sobre o dado e custo previsível, mas transfere pra você a responsabilidade de manter a infraestrutura funcionando, que antes era problema do fornecedor. Para setores regulados (saúde, jurídico, financeiro), essa categoria muitas vezes deixa de ser opção e vira requisito.

Você não vai mexer nisso, mas precisa saber que existe pra perguntar ao time se faz sentido no seu caso.

Por que está no mapa

Com mais de 112 mil estrelas, é uma das peças de engenharia mais importantes do movimento de IA aberta e local. Está no mapa porque foi ele que tirou a IA generativa do clube exclusivo de quem tem servidor gigante e colocou na mão de qualquer um com um computador decente. Entender que isso é possível muda a conversa sobre dependência de fornecedor e sobre onde os seus dados precisam viver.