Um estudo revela resultados inesperados, de que o uso de ferramentas AI na programação acaba por fazê-los demorar mais tempo do que se não as usassem.
Um estudo da METR – Model Evaluation & Threat Research apresenta resultados que certamente irão gerar bastante discussão. Apesar das ferramentas AI fascinarem os developers e serem vistas como um precioso auxiliar que lhes permite poupar tempo, este estudo diz que os resultados são bastante diferentes.
Este estudo avaliou o impacto das ferramentas de inteligência artificial no desempenho de programadores experientes em projectos open-source, e os resultados surpreenderam: em vez de aumentar a produtividade, o uso de AI causou um abrandamento de 19% na execução das tarefas – isto apesar dos próprios programadores acharem que demoraram menos tempo.
Os programadores, que participaram em tarefas reais dos seus repositórios, e usaram ferramentas como o Cursor com modelos Claude 3.5 e 3.7, acreditavam que a AI os tornaria 24% mais rápidos. No entanto, mesmo depois de terem demorado mais tempo a concluírem as tarefas com AI, continuaram a achar que tinham sido mais rápidos, revelando uma inesperada diferença entre percepção e realidade.
We ran a randomized controlled trial to see how much AI coding tools speed up experienced open-source developers.
The results surprised us: Developers thought they were 20% faster with AI tools, but they were actually 19% slower when they had access to AI than when they didn’t. pic.twitter.com/w8LSTpCFZL
— METR (@METR_Evals) July 10, 2025
At the beginning of the study, developers forecasted that they would get sped up by 24%. After actually doing the work, they estimated that they had been sped up by 20%. But it turned out that they were actually slowed down by 19%. pic.twitter.com/E7GbNverzy
— METR (@METR_Evals) July 10, 2025
When AI is allowed, developers spend less time actively coding and searching for information, and instead spend time prompting AI, waiting on/reviewing AI outputs, and idle. We find no single reason for the slowdown—it’s driven by a combination of factors. pic.twitter.com/sAy56MgldL
— METR (@METR_Evals) July 10, 2025
To better understand these factors, we investigate 20 properties of our setting, finding 5 likely contributors, and 8 mixed/unclear factors.
We also analyze to make sure the result isn’t a fluke, and find that slowdown persists across different outcome measures, estimator… pic.twitter.com/8Kk6oonBfK
— METR (@METR_Evals) July 10, 2025
O estudo diz não ter identificado nenhuma causa isolada para este fenómeno, mas indica vários factores que, cumulativamente, podem explicar esta quebra de desempenho: dificuldades em integrar sugestões da AI com padrões de qualidade exigidos nos projectos, tempo extra dedicado à validação do código gerado, e ainda limitações das próprias ferramentas utilizadas. Apesar disso, os investigadores não descartam que o uso das ferramentas AI possa melhorar com mais tempo de uso, melhor integração com os repositórios, e avanços futuros nos modelos.
De qualquer forma, sem dúvida que irá gerar mais pontos de discussão entre os apoiantes e críticos das tecnologias AI na programação, e – no mínimo – chamar a atenção para que se preste mais e melhor atenção ao uso destas ferramentas, para determinar se realmente são um benefício efectivo.
(Ptnik)