A IA da Alibaba que lê o teu ecrã atinge 92% em telemóveis reais e corre no teu próprio hardware

O Qwen-UI-Agent da Alibaba não precisa de acesso especial às suas aplicações. Lê o ecrã, identifica o que lá está e clica, tratando de tarefas que vão desde mensagens até edição de documentos apenas através de perceção visual. Os pesos do modelo — MAI-UI-2B e MAI-UI-8B — chegaram esta semana ao Hugging Face, colocando o sistema ao alcance de qualquer programador com uma GPU.

Os benchmarks são concretos. No MobileWorld, a avaliação padrão de agentes móveis, o Qwen-UI-Agent obteve 82,1%, batendo o GPT-5.6 por 12 pontos percentuais e o Claude Opus 4.8 por 14,6 pontos. A diferença não é marginal — sistemas ocidentais comparáveis estagnaram nos 70 baixos a médios no mesmo teste durante meses. Em testes em dispositivos reais — tarefas executadas em telemóveis Android verdadeiros, não em emuladores — a pontuação subiu para 92,2%. No AndroidDaily, uma avaliação mais ampla em telemóveis reais, o modelo atingiu 97,5%. Para utilização em computadores de secretária, medida através do OSWorld-Verified, obteve 79,5%, à frente do GPT-5.5 e do Gemini 3.1 Pro.

A Alibaba treinou o modelo com dados de mais de 100 dispositivos móveis reais a executar 150 aplicações distintas e depois construiu o seu próprio benchmark — o MobileWorld-Real — com mais de 400 tarefas para verificar o desempenho fora do laboratório. Cerca de 40% das tarefas de computador de secretária envolveram operações de linha de comandos em lote juntamente com cliques visuais, uma escolha de conceção que reflete como a computação real funciona, em vez de como as demonstrações são encenadas.

Uma camada de segurança está integrada no fluxo de trabalho. O modelo recusa tarefas que sinaliza como ilegais ou de alto risco e pára em operações sensíveis — pagamentos, eliminação de dados, autorizações de privacidade — solicitando confirmação explícita do utilizador antes de prosseguir. O sistema lida com sequências com mais de 100 passos utilizando aprendizagem por reforço treinada em cerca de 10.000 ambientes simulados simultâneos.

As pontuações dos benchmarks deixam as questões mais difíceis em aberto. O Qwen-UI-Agent foi avaliado em tarefas estruturadas; a utilização real do telemóvel é intensa em interrupções, repleta de notificações e envolve aplicações que atualizam as suas interfaces sem aviso. A IA de leitura de ecrã também levanta uma questão de privacidade que o relatório técnico da Alibaba não aborda: um modelo que processa cada pixel do seu ecrã tem acesso a dados bancários, mensagens privadas e informações que a maioria dos utilizadores nunca considerou entregar a um sistema terceiro. Faltam orientações sobre o que acontece a esses dados em implementações de terceiros.

O projeto está alojado em Tongyi-MAI/MAI-UI no GitHub; os pesos do modelo estão no Hugging Face agora. Não foi anunciado qualquer preço comercial de API ou de implementação. O próximo teste para o Qwen-UI-Agent não é um benchmark — é saber se os programadores que constroem com base nos pesos abertos conseguem igualar em produção o que a Alibaba registou no laboratório.

Etiquetas: GPT-5.6, agentes de IA, Alibaba, IA móvel, Qwen, Qwen-UI-Agent