BerriAI/litellm

O que é, em uma frase honesta

LiteLLM é uma camada que padroniza o acesso a mais de cem modelos de IA diferentes sob um único formato. Sem ele, cada fornecedor (OpenAI, Google, Anthropic, modelos abertos) tem seu próprio jeito de ser chamado, e trocar de um pra outro dá trabalho de reescrever código. Com ele, o seu sistema fala uma língua só, e por trás ele traduz pra cada fornecedor. Pense numa tomada universal de viagem: o aparelho é o mesmo, ele encaixa em qualquer parede.

Para que serve na prática

Serve pra dar à empresa liberdade e controle sobre qual IA usar. Você pode rotear cada tarefa pro modelo mais barato ou mais capaz, trocar de fornecedor se um ficar caro ou cair, e ter um painel único de quanto cada time está gastando. Muita empresa usa o servidor proxy dele justamente pra isso: um ponto central que controla acesso, mede custo e impõe limites de gasto. É infraestrutura discreta, mas resolve uma dor de gestão muito concreta.

Quando faz sentido pra você que lidera

Esse é dos poucos itens técnicos com impacto direto de gestor, porque trata de duas coisas que você sente no bolso: dependência de fornecedor e controle de custo. Apostar tudo num único provedor de IA é risco estratégico: se ele sobe preço, muda regra ou sai do ar, você fica refém. Uma camada como esta mantém a porta aberta pra trocar sem refazer o sistema.

E o controle de gasto centralizado responde a pergunta que todo líder vai fazer: 'afinal, quanto estamos gastando com IA e quem está gastando?'.

Por que está no mapa

Com mais de 48 mil estrelas e 30 mil ganhas no último ano, virou uma peça de infraestrutura padrão em empresas que levam IA a sério. Está no mapa porque representa a maturidade do mercado: quando você para de testar um modelo e começa a operar vários em produção, precisa de governança, custo controlado e liberdade pra trocar. Esse é exatamente o problema que distingue quem brinca com IA de quem a opera como negócio.