Durante três anos, a conversa sobre IA girou em torno de quem constrói o maior modelo. A pergunta menos vistosa — quanto custa manter esse modelo a responder, milhões de vezes por dia, sem ir abaixo — é por onde o dinheiro se escoa agora. O llm-d, projeto de inferência de código aberto lançado pela Red Hat, IBM, Google Cloud, CoreWeave e Nvidia, chegou à versão 1.0, e a sua proposta aponta precisamente a essa fuga.

O mecanismo merece ser explicado com clareza. Um agente de IA não faz uma pergunta e vai-se embora. Mantém sessões longas, relê os mesmos documentos e lança ajudantes em paralelo que atingem o hardware em rajadas imprevisíveis. Nesse padrão, gerir o contexto pode custar mais do que produzir a resposta. Todas as equipas que servem modelos em grande escala, diz Shadi Saba, vice-presidente de engenharia de IA/ML da CoreWeave, esbarram num «contexto que muitas vezes custa mais a gerir do que a própria saída». A resposta do llm-d é o encaminhamento: enviar cada pedido para o servidor que já tem o seu contexto em cache, em vez de o recalcular de raiz.

Fisheye view of a server rack in the Datarmor high-performance computing and AI centre in Brest — Image: Gregory Rocher, Ifremer / Wikimedia Commons (CC BY 4.0)

A versão 1.0 traz menos truques novos do que garantias para pôr os existentes a funcionar durante meses. O projeto já oferecia encaminhamento sensível à cache, descarga da cache KV e a separação das fases de prefill e decode entre máquinas, sobre servidores de modelos como o vLLM e o SGLang. A nova versão acrescenta controlos de prioridade e equidade para que pedidos sensíveis à latência e agentes em rajada partilhem a mesma frota de GPU sem se asfixiarem, um router de alta disponibilidade para atualizações sem interrupções, uma API de configuração v1 estável e um encaminhamento por sessão que mantém as conversas de várias interações junto ao seu estado em cache.

Os números de desempenho do anúncio vêm de demonstrações dos próprios contribuidores, pelo que devem ler-se como alegações e não como auditorias. Numa delas, investigadores serviram o GLM 5.2, um modelo de pesos abertos com cerca de 753 mil milhões de parâmetros, em GPU Nvidia amplamente utilizadas, com picos acima de 6,6 milhões de tokens de saída por minuto e até 3000 agentes de programação em simultâneo; aos preços atuais de aluguer na nuvem, garantem, o custo por token ficou entre cinco e dez vezes abaixo do de uma API comercial equivalente. A IBM Research indica um custo de inferência 11,5 vezes inferior ao de uma configuração totalmente proprietária num projeto de conceção de chips para correção de erros quânticos, com uma taxa de acerto da cache de cerca de 98%.

Mais revelador é quem já se apoia nele. A JetBrains afirma que o llm-d serve uma parte significativa do tráfego do Junie Lite, o seu plano gratuito de agente de programação; a DigitalOcean corre sobre ele a sua inferência serverless, e a Mistral e a Roblox descrevem as suas camadas de serviço construídas sobre o projeto. A Google Cloud está a integrar a 1.0 no Google Kubernetes Engine em toda a sua oferta de TPU e GPU Nvidia, enquanto a AMD a leva aos seus aceleradores Instinct.

Fundado em 2025 e hoje gerido pela Cloud Native Computing Foundation, o llm-d conta com mais de 500 contribuidores de mais de 25 organizações. A versão 1.0 foi anunciada a 20 de outubro de 2026, em San José, e já está disponível como software de código aberto.

A consequência é uma mudança no equilíbrio de forças. Se o que é caro na IA é servi-la e não treiná-la, quem controla a camada de serviço controla a fatura. O llm-d é uma tentativa de garantir que essa camada se mantém partilhada e aberta, em vez de fechada na API de um único fornecedor.

Etiquetas: nvidia, agentes de IA, IBM, CoreWeave, grandes modelos de linguagem, Red Hat