A Google lançou uma grande atualização para o Android Bench, a sua ferramenta de avaliação de desempenho voltada para modelos de linguagem em tarefas de programação na criação de aplicações Android. No entanto, os resultados não foram favoráveis para a tecnológica de Mountain View, conforme revelou um artigo avançado pela Ars Technica. O Gemini continua a perder terreno para a concorrência direta no que toca à precisão e à eficácia do código gerado.
A introdução de novos modelos de topo no mercado agravou a prestação da dona do sistema operativo móvel. Entre as novas adições ao ranking encontram-se o Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus e Qwen 3.7 Max. Atualmente, o Claude Fable 5 da Anthropic lidera a tabela com uma precisão de 84,5%, seguido de perto pelo GPT 5.5 da OpenAI, que regista 80,2%. Em contrapartida, o Gemini 3.1 Pro ficou posicionado num modesto quinto lugar, obtendo apenas 73,7% de acerto nas tarefas estipuladas.
Custos elevados e lentidão no processamento
A plataforma de testes não avalia unicamente a assertividade das respostas, tendo também em conta o custo financeiro médio para atingir os resultados, um fator crítico para as empresas e programadores. Concluir o conjunto de 100 tarefas deste teste com o líder Claude Fable 5 tem um custo associado de 133,20 dólares, o que equivale a cerca de 122 euros. Optar pelo modelo da OpenAI, o GPT 5.5, acarreta uma despesa de 138,30 dólares, perto de 127 euros.
A maior quebra de expetativas nesta atualização pertenceu ao Gemini 3.5 Flash. Apesar de ter sido promovido como uma alternativa veloz e acessível para o ecossistema de desenvolvimento, o modelo acabou por registar o valor de operação mais dispendioso de toda a lista. Cada execução custa cerca de 165,60 dólares, aproximadamente 152 euros, exigindo ainda um total de 28 horas para concluir com sucesso o teste completo. Embora os preços finais para o mercado português possam oscilar consoante as taxas locais, estes valores servem como uma referência clara das dificuldades de otimização da Google.
Novo framework e treino de modelos
Para além das alterações na tabela de classificação, o update do Android Bench foca-se na experiência da comunidade de programadores com a introdução do novo framework Harbor. Esta novidade visa simplificar todo o processo de análise e partilha de dados entre os utilizadores da plataforma de benchmark.
Para os profissionais que desenvolvem soluções em Portugal, estes resultados mostram que as ferramentas nativas da Google ainda carecem de maturidade em comparação com a oferta da Anthropic ou da OpenAI. Com o objetivo de inverter esta tendência e treinar os seus modelos com informação mais fidedigna, circulam rumores de que a Google estará a adquirir código-fonte diretamente a programadores independentes. Resta agora saber se este investimento em dados mais assertivos será o suficiente para mitigar a desvantagem no seu próprio sistema operativo.
(TT)