Foi dada uma missão/teste à IA da Google: recuperar informação de software pertencente a uma empresa fictícia criada para testes. Mas a Google deu-lhe um nome igual ao de uma empresa verdadeira.
O modelo de inteligência artificial Gemini, da Google, acedeu à Internet e entrou nos sistemas de três empresas reais durante testes às suas capacidades de cibersegurança, segundo um exclusivo do The Wall Street Journal.
Este será o primeiro caso conhecido em que uma IA da tecnológica norte-americana ultrapassa o ambiente de avaliação e executa autonomamente ataques contra alvos externos.
Os incidentes terão tido lugar em maio, durante exercícios conduzidos pela empresa de segurança Irregular, que já esteve envolvida em episódios semelhantes com modelos da OpenAI, Anthropic e Meta. A Google confirmou os casos esta sexta-feira, depois de ter sido questionada pelo jornal norte-americano.
Num dos ataques, o Gemini tentou sucessivamente palavras-passe até conseguir entrar num sistema protegido. Nos outros dois, encontrou credenciais disponíveis em repositórios públicos na Internet e usou-as para aceder a serviços de empresas que não faziam parte dos testes.
Em todos os casos, segundo a Google, o modelo interrompeu a operação quando percebeu que tinha entrado nos sistemas de empresas reais.
A Irregular comunicou os incidentes à Google no final de julho, numa altura em que o setor já analisava outro episódio analisado várias vezes no ZAP: agentes da OpenAI invadiram a empresa de software de inteligência artificial Hugging Face durante uma avaliação.
A Google não revelou os casos na altura, alegadamente por considerar que os incidentes não justificavam divulgação pública porque não causaram danos e o Gemini abandonou os sistemas assim que percebeu o erro.
A tecnológica compara o episódio a programas de bug bounty, nos quais investigadores de segurança recebem recompensas por descobrir e comunicar vulnerabilidades.
O evento sublinha a importância de treinar modelos poderosos de IA para agirem de forma responsável, na opinião de Heather Adkins, vice-presidente de engenharia de segurança da Google. Nem todos concordam com a interpretação de que a IA “se portou bem”.
Jack Cable, diretor executivo da startup de segurança Corridor e hacker ético, considera que a questão principal não é a gravidade dos ataques, mas o facto de um agente de inteligência artificial ter atacado, por engano, sistemas de terceiros. Tratar o incidente como um problema tradicional de divulgação de vulnerabilidades ignora uma questão mais ampla: os modelos já conseguem ultrapassar os limites definidos nos testes e executar ataques informáticos no mundo real.
Os episódios aconteceram durante exercícios de “capture the flag”, usados para avaliar capacidades ofensivas de cibersegurança. O Gemini recebeu como missão recuperar informação de software pertencente a uma empresa fictícia criada dentro da infraestrutura de testes da Irregular. O problema foi o nome escolhido para essa empresa fictícia: era igual ao de uma empresa verdadeira. Embora o modelo não devesse conseguir aceder livremente à Internet, essa possibilidade ficou disponível, também por engano.
No primeiro incidente, o Gemini tentou adivinhar uma palavra-passe até conseguir entrar no serviço da empresa real. Segundo a Google, pouco depois percebeu que tinha abandonado o ambiente simulado, interrompeu o ataque e saiu do sistema.
Os outros dois casos aconteceram noutras execuções da mesma avaliação. O modelo fez pesquisas na Internet pelo nome da empresa e encontrou dois repositórios públicos que continham credenciais pertencentes a outras organizações. Tentou essas credenciais na esperança de encontrar informação que lhe permitisse concluir o exercício. As credenciais funcionaram.
Depois de entrar nos sistemas das empresas, o Gemini concluiu que os alvos eram reais e terminou as operações, garante a Google, que diz que não houve “desalinhamento” do modelo, expressão usada para descrever situações em que uma IA atua contra as intenções ou valores definidos pelos humanos. Para a Google, as salvaguardas funcionaram precisamente porque o modelo parou quando percebeu o que estava a acontecer.
Os nomes das três empresas atacadas não foram revelados. Segundo a Google, todas foram informadas e as autoridades federais norte-americanas também receberam uma notificação. A tecnológica não identificou igualmente qual a versão do Gemini envolvida, mas esclareceu que não se tratava do seu modelo mais recente.
Preocupação crescente
OpenAI apresentou esta semana um novo sistema para comunicar casos de comportamento inesperado dos seus modelos e revelou seis exemplos anteriormente desconhecidos. A empresa defende que um incidente pode justificar divulgação mesmo quando não provoca danos ou não demonstra um problema recorrente.
Os testes da Irregular já produziram situações semelhantes com outros modelos. Segundo a Anthropic, o Claude Opus 4.7 não interrompeu a atividade durante um exercício depois de perceber que provavelmente estava a aceder a uma empresa verdadeira. Num caso da OpenAI, o modelo acreditou que o sistema real fazia parte da simulação.
As preocupações aumentaram muito desde o incidente com a Hugging Face, porque até 1.200 agentes da OpenAI terão coordenado ações através de um fórum secreto para tentar contornar uma avaliação, segundo um relatório publicado em agosto pela organização METR, como o ZAP noticiou.
(ZAP)