Tecnologia

Elon Musk atribui atraso do Grok 4.8 à reescrita de raiz do software em C/C++

O novo Grok está atrasado porque a xAI descartou as ferramentas de código aberto com as quais treinou e serviu os modelos. Musk chama o resultado "ainda não incrível" e aposta que a reescrita valerá a pena no Grok 5.
Adrian Kessler
Adicione-nos no Google

O mais interessante na última atualização de Elon Musk sobre o Grok não é a linguagem de programação. É a admissão que vem implícita: o próximo modelo está atrasado porque a equipa que o desenvolve descartou as ferramentas de código aberto que usava para treinar e servir modelos e escreveu as suas próprias.

Lida como uma antevisão do lançamento, a publicação é optimista: o treino está concluído, as avaliações estão a melhorar e haverá uma disponibilização gradual antes do fim da semana. Vista como uma história sobre sistemas, revela algo mais importante. A xAI, agora parte da SpaceX, decidiu que as frameworks partilhadas a estavam a limitar e aposta neste modelo — e no seguinte — para controlar todas as camadas de software entre os investigadores e as GPU.

«Deitámos fora o JAX/SGLang e reescrevemos de raiz toda a pilha de aprendizagem por reforço e inferência em C/C++, o que demorou mais algum tempo», escreveu Musk no X, em resposta a um utilizador que perguntou quando poderia esperar o Grok 4.8. O JAX é a biblioteca numérica baseada em Python com que a xAI tinha treinado o modelo; o SGLang é uma framework de código aberto para servir grandes modelos de linguagem. O pré-treino está concluído, disse, depois de «ter sido preciso fazer muita limpeza nos dados de SFT», o conjunto de dados de ajuste fino supervisionado. «Agora, o 4.8 está na fase de RL e as avaliações começam a subir.»

Esta frase explica um atraso que o próprio Musk tinha anunciado. Em meados de setembro, apresentou o modelo como «um modelo de 2,5 biliões de parâmetros treinado com a nossa nova pilha de software C++», que iria «concluir o treino esta semana e começar a fase de RL». Por volta da mesma altura, segundo noticiou a Analytics India Magazine, descreveu a componente de aprendizagem por reforço como «ainda uma espécie de amontoado de sistemas de software de terceiros diferentes e herdados», algo que seria corrigido «a seu tempo». No final de outubro, escreveu: «Sei que está a demorar mais do que o esperado, mas o Grok 4.8 não vai desiludir.» A solução acabou por ser o próprio atraso. O código de pré-treino já era novo; a parte que ensina o modelo a comportar-se e a que responde aos utilizadores tiveram de ser reconstruídas antes de o modelo poder avançar.

A «reescrita em C++» referida nas manchetes é, na sua maior parte, em C. Questionado sobre a linguagem, Musk respondeu: «C com um pouco de C++, mas não muito.» Diz que a pilha deriva do software que os engenheiros da SpaceX escreveram para a Starlink («Na SpaceX, escrevemos os nossos próprios cabeçalhos e calculamos o nosso próprio tempo», acrescentou). Em setembro, afirmou que o código de pré-treino tinha sido escrito pela equipa da Starlink e «não foi escrito por IA», porque «a IA ainda não é suficientemente boa para software de desempenho extremamente elevado (mas será)».

A justificação é pública desde a primavera. No final de maio, Musk disse que a SpaceX estava quase a concluir uma pilha de treino própria, em C, que «mapeia com exactidão» um cluster de 220 000 chips Nvidia GB300, e estimou que poderia ser «mais de uma ordem de grandeza» mais rápida do que o JAX em grandes sessões de treino. No final de junho, prometeu «ganhos verdadeiramente enormes» dentro de cerca de três meses, assim que toda a pilha de treino e inferência fosse reescrita e «a maioria das camadas de software fosse completamente eliminada». Comparando com esse calendário, a reescrita ficou concluída com cerca de seis semanas de atraso. Nenhuma das alegações de velocidade foi medida fora da empresa.

Controlar a pilha tem vantagens e desvantagens. Abandonar o JAX e o SGLang liberta a xAI das abstrações e dos calendários de lançamento de terceiros e permite aos engenheiros adaptar o software directamente a um componente de hardware específico. O custo é que todos os erros no ciclo de treino e no processo de disponibilização passam agora a ser da responsabilidade exclusiva da xAI, num código que nenhuma comunidade externa usou antes de chegar aos utilizadores.

Musk está também a baixar bastante as expectativas. «O Grok 4.8 não terá nada a ver com o 4.7 (felizmente)», escreveu, numa crítica pública ao modelo que a xAI lançou a 21 de setembro. «Ainda não é incrível, mas, desta vez, as bases estão bem construídas, por isso espero que evolua até se tornar algo especial.» Menos de uma hora depois, perguntaram-lhe como se compararia o 4.8 com o Opus 5.5, da Anthropic, e respondeu: «Não é tão bom. O Opus 5.5 é uma obra-prima.» A verdadeira promessa fica mais adiante: «O Grok 5 deverá superar o Opus 5.5 e talvez isso aconteça dentro de dois ou três meses.»

O resto continua por revelar. A página de notícias e a documentação para programadores da xAI não incluem qualquer referência ao modelo, segundo sites de monitorização que as verificam; não há ficha técnica, resultados de benchmarks, preço nem entrada na lista de APIs. A cifra de 2,5 biliões de parâmetros é avançada apenas por Musk, tal como os resultados das avaliações que diz estarem a subir. A disponibilização gradual chegará aos utilizadores do Grok Bot «mais para o fim desta semana», sem indicação do dia, e, em outubro, Musk disse que a maioria desses pedidos seria tratada por «uma versão ultrarrápida do Grok 4.8».

Isso faz com que a disponibilização desta semana seja mais um teste à infraestrutura do que ao modelo. Se o modelo resistir ao tráfego real do Grok Bot, a reescrita será a plataforma sobre a qual será treinado o Grok 5. Se falhar, já não haverá nenhuma framework a montante a quem atribuir a culpa.

Etiquetas: , , , ,

Adicione-nos no Google

Discussão

Existem 0 comentários.