Tecnologia

Nvidia PAIR une as GPUs de casa para agentes IA duas vezes mais rápidos, de graça

Susan Hill

Um novo instrumento gratuito da Nvidia, denominado PAIR — Personal AI Router — encaminha tarefas de agentes de IA através de vários computadores na sua rede doméstica, tratando a sua coleção de PCs para jogos, estações de trabalho e até Macs como um cluster de inferência unificado. A ideia é simples: a maioria dos computadores com capacidade para IA fica inativa a maior parte do tempo, e as cargas de trabalho locais de IA estão cada vez mais construídas à volta de agentes que geram dezenas de subtarefas independentes de uma só vez. O PAIR liga os ciclos disponíveis.

O software funciona como um proxy transparente sobre o Ollama e o LM Studio, as duas ferramentas de inferência local mais populares, pelo que as configurações existentes não necessitam de alterações de código. Uma vez instalado em cada máquina, o PAIR utiliza o mDNS — o mesmo protocolo que a sua impressora utiliza para aparecer na rede — para detetar automaticamente dispositivos compatíveis. Um agente principal submete o seu trabalho como habitualmente, e o PAIR decide qual máquina trata qual subtarefa com base nos modelos que cada máquina tem disponíveis. Não é necessária uma configuração idêntica em todas as máquinas: um PC para jogos a executar o Llama 3.3 e um portátil com o Mistral podem cooperar na mesma tarefa.

O benchmark que a Nvidia publicou torna a diferença concreta: uma tarefa com cinco subagentes que demorou 18 minutos num único portátil RTX Spark terminou em 8 minutos e 48 segundos num cluster de três dispositivos. Isto representa aproximadamente uma aceleração de 2× sem tocar numa linha de código ou pagar por computação na nuvem. O ganho escala com o número de máquinas e a natureza da carga de trabalho — as tarefas que se dividem em muitas peças paralelas beneficiam mais.

A privacidade é o outro argumento de venda, e é o mais duradouro. Cada prompt, ficheiro e fragmento de contexto do agente permanece na sua rede doméstica. Nada é encaminhado para um serviço de inferência na nuvem; não há chave de API, nem medição de utilização, nem nenhuma empresa a receber as suas consultas. Para qualquer pessoa que execute agentes em documentos sensíveis — rascunhos legais, notas médicas, correspondência pessoal — essa distinção é mais importante do que números de benchmarks.

As ressalvas são reais. O PAIR não oferece qualidade de serviço garantida: se a máquina em que contava ativar a GPU para um jogo ou exportação de vídeo, o PAIR redistribui essa carga de trabalho para o que estiver disponível. A ferramenta é abertamente concebida para tarefas de longa duração em que o prazo é flexível, não para aplicações onde a latência tenha de ser previsível. É também software beta. A Nvidia está a apontar este produto a entusiastas com pelo menos uma máquina compatível — uma placa GeForce RTX série 20 ou mais recente, ou silício Apple M4-series — e a expetativa de que já saibam orientar-se no Ollama.

O PAIR é gratuito, de código aberto e está disponível em versão beta agora para Windows, macOS e Linux. A Nvidia não anunciou um roteiro para garantias de QoS ou uma data de lançamento estável. O mínimo prático para beneficiar dele são duas máquinas com hardware capaz, o que exclui a maioria das configurações de um único computador. Para utilizadores que já executam o Ollama em mais de um dispositivo em casa, a barreira de entrada é suficientemente baixa para justificar a experiência.

Etiquetas: , , , , ,

Discussão

Existem 0 comentários.