Tecnologia

AMD compra a Taalas e aposta que chips com IA em silício batem a Nvidia na inferência

Susan Hill

A AMD está a adquirir a Taalas, uma startup de Toronto que fabrica chips que incorporam os pesos dos modelos de IA permanentemente no silício, em vez de os carregar a partir da memória durante a inferência. O chip HC1 da empresa gera 16 400 tokens por segundo no Llama 3.1 8B da Meta — um valor que a AMD afirma ser 48 vezes mais rápido do que as GPUs da Nvidia e 8,5 vezes mais rápido do que a Cerebras, especialista em chips de inferência.

A tecnologia por detrás da Taalas explora uma ineficiência estrutural na forma como a inferência de IA funciona atualmente. As GPUs padrão são flexíveis: podem executar qualquer modelo, alternar entre tarefas a pedido e ser reprogramadas quando um modelo é atualizado. Essa flexibilidade é também o gargalo. Carregar milhares de milhões de pesos de modelos da memória de alta largura de banda para as unidades de computação em cada pedido de inferência cria latência que adicionar mais GPUs não consegue eliminar.

A Taalas incorpora esses pesos diretamente no silício do chip no momento da fabricação. O modelo vive no hardware, não na memória que é consultada por pedido. Os números de débito que a AMD está a anunciar refletem essa escolha arquitetural — mas a um preço que a empresa não minimiza: uma vez que um chip é fabricado com um modelo específico incorporado, atualizá-lo requer uma nova tape-out de silício. A Taalas afirma que apenas duas camadas de metal precisam de ser alteradas para uma atualização de modelo, o que encurta o ciclo, mas estes chips não conseguem adaptar-se em tempo real a uma versão mais recente do modelo.

No plano de integração da AMD, os chips Taalas tratarão da geração de tokens — a fase mais demorada da inferência — enquanto as GPUs Instinct da AMD lidam com a pré-computação e o cálculo de atenção no início de cada pedido. O sistema combinado funciona na plataforma Helios da AMD, à escala de rack. Para operadores de cloud que executam cargas de trabalho com modelos fixos — bots de apoio ao cliente, pipelines de processamento de documentos, tradução em tempo real — a promessa é de débito por watt de rack que clusters flexíveis de GPU não conseguem igualar a custo equivalente.

Se esse cálculo sobrevive ao ritmo de atualização de modelos da indústria é a questão central. Os grandes laboratórios atualizam agora os seus modelos de produção aproximadamente a cada seis meses. Um chip bloqueado ao Llama 3.1 8B hoje pode ter de ser reformado quando um sucessor se tornar o padrão de implantação. A alegação da Taalas sobre a atualização de duas camadas de metal ajuda, mas uma tape-out de silício ainda leva meses a concluir — um atraso significativo quando os modelos se renovam mais depressa do que os ciclos do hardware.

A aquisição ocorre sete meses depois de a Nvidia ter comprado a Groq — uma abordagem diferente para o mesmo problema de velocidade de inferência — por uns reportados 20 mil milhões de dólares. Os processadores tensor stream da Groq também otimizam o débito, mas mantêm a capacidade de carregar diferentes modelos. A AMD está a pagar um valor não divulgado, mas presumivelmente menor, por uma startup que fez a aposta oposta.

Para os compradores, a aquisição da Taalas pertence ao roteiro, não ao catálogo. O chip HC2, destinado a modelos com até 20 mil milhões de parâmetros, ainda está em desenvolvimento. O benchmark de 48x aplica-se ao HC1 em condições específicas — implementações reais com tráfego misto e tamanhos de lote variáveis produzirão resultados diferentes. O fecho do negócio é esperado no quarto trimestre de 2026, sujeito a aprovação regulatória. O HC1 foi lançado em fevereiro com tecnologia de 6 nm; a data de lançamento do HC2 e o nó de processo alvo permanecem por confirmar.

Etiquetas: , , , ,

Discussão

Existem 0 comentários.