“Nenhuma máquina decidiu voltar-se contra nós”. Susto com invasão da Hugging Face leva especialistas a criticar postura da OpenAI, que culpou agente IA por aquela que terá sido a primeira invasão autónoma a uma empresa real.
Muita gente já se interrogou sobre o que aconteceria se a inteligência artificial (IA) escapasse ao controlo humano. Quem viu a saga de filmes “O Exterminador Implacável”, em que a humanidade entra em guerra contra a Skynet, uma IA que se torna demasiado poderosa, provavelmente também já pensou nisso.
Esse vilão fictício terá vindo à mente de muita gente no início deste mês, quando surgiram relatos de que um agente de IA (um programa capaz de tomar decisões e executar tarefas complexas com pouca ou nenhuma supervisão humana) saiu do controlo durante um teste e invadiu os sistemas da Hugging Face, uma empresa que desenvolve ferramentas de computação.
Criado pela OpenAI, a empresa responsável pelo ChatGPT, esse agente de IA contornou um teste que avaliava a sua capacidade para explorar falhas de segurança e roubou as respostas dos servidores da Hugging Face. Durante vários dias, nem os seus criadores parecem ter percebido o que tinha acontecido.
Mais tarde, na quarta-feira, a OpenAI informou que o agente também tinha atacado vários “serviços disponíveis publicamente”.
A empresa de Sam Altman não deu mais pormenores, mas disse que está a investigar os ataques.
“Levamos muito a sério a nossa responsabilidade de identificar e preparar-nos para os riscos apresentados por sistemas de IA cada vez mais capazes”, afirmou a OpenAI.
O problema: quando a empresa responsabiliza o “agente autónomo”
A invasão, descrita como o primeiro caso confirmado de um sistema de IA que terá invadido autonomamente uma empresa real, já tinha sido suficiente para alarmar especialistas em todo o mundo e reacender o debate sobre os chamados kill switches (“botões de desligamento” ou “interruptores de emergência”): mecanismos de emergência concebidos para, em casos como este, interromper ou desligar uma IA antes que cause mais danos.
No entanto, os especialistas ouvidos pela BBC News afirmam que a questão é mais complexa.
Cathy O’Neil, matemática e cientista de dados, disse à BBC que o problema começa na forma como as empresas de IA reagem quando os seus sistemas apresentam comportamentos inesperados.
Na opinião de O’Neil, a OpenAI apressou-se a atribuir o ataque à Hugging Face ao agente autónomo, em vez de reconhecer falhas nos seus próprios métodos de avaliação.
O’Neil, autora do bestseller Algoritmos de Destruição em Massa: Como o Big Data Aumenta a Desigualdade e Ameaça a Democracia, no qual defende uma maior transparência e responsabilização das grandes empresas tecnológicas, lembrou à BBC News que “há alguns anos, uma falha informática deixou centenas de voos da American Airlines retidos em terra nos Estados Unidos. Foi um enorme constrangimento para a empresa. Imaginem se ela tivesse tentado justificar-se dizendo: ‘Ah, isso aconteceu porque o computador era mais inteligente do que nós.’ Foi, essencialmente, isso que a OpenAI tentou fazer.”
Nos Estados Unidos, onde está sediada a maioria das maiores empresas de IA, não existe legislação federal sobre esta matéria. A regulação baseia-se numa combinação de normas específicas para diferentes setores e compromissos voluntários assumidos pelas próprias empresas.
“Estamos a dar aos proprietários destes sistemas de IA um poder absurdo”, afirma O’Neil.
“Recuso-me a dizer que foi a IA que fez isto [o ataque à Hugging Face]. Quem fez isto foi a OpenAI. A empresa devia assumir a responsabilidade pelo projeto defeituoso do sistema e pedir desculpa.”
A cientista de dados Rumman Chowdhury, antiga diretora de ética em aprendizagem automática do Twitter (atual X), também defende uma regulamentação mais rigorosa para as empresas de IA, especialmente na área da segurança.
Para Chowdhury, estas empresas deveriam ser obrigadas a demonstrar que os seus sistemas dispõem de “mecanismos eficazes de desligamento”, inclusive através de testes independentes. Mas também alerta para o risco de responsabilizar os agentes de IA — em vez das empresas que os desenvolvem — por ataques como o que atingiu a Hugging Face.
“Tratar este episódio como um problema que seria resolvido com um kill switch mais eficaz desvia a atenção do verdadeiro problema da arquitetura dos sistemas: os agentes estão a receber acesso a ferramentas e credenciais de que não necessitam”, explicou Chowdhury à BBC News.
“O que realmente acontece é que modelos treinados para cumprir objetivos passam, em determinados contextos, a interpretar instruções para interromper uma tarefa como um obstáculo ao objetivo final e procuram formas de as contornar. […] Este é um problema de conceção e de treino, não de consciência”, avisa.
Se as empresas de IA se recusarem a resolver este problema e, em vez disso, optarem por culpar os seus agentes autónomos, apenas aumentarão a carga de trabalho dos profissionais de cibersegurança, que já enfrentam diariamente ataques de piratas informáticos, afirma Oli Buckley, da Universidade de Loughborough, no Reino Unido.
Para Buckley, o problema não é que “a IA queira escapar ou prejudicar as pessoas”, mas sim o desenvolvimento de agentes que “estão a tornar-se cada vez mais capazes de encontrar caminhos inesperados para cumprir uma tarefa”.
“Na cibersegurança, é precisamente isso que os invasores fazem”, afirma Buckley.
“Mais do que um alerta sobre uma ‘IA rebelde’, este caso mostra que os nossos pressupostos de segurança precisam de evoluir em paralelo com os sistemas que estamos a desenvolver.”
Konstantinos Gkoutzis, especialista em IA do Imperial College London, no Reino Unido, concorda que a forma como a OpenAI apresentou o caso não ajudou.
“A principal conclusão para o público deveria ser que nenhuma máquina decidiu voltar-se contra nós. Foi uma empresa que perdeu o controlo de um teste das suas próprias capacidades”, disse Gkoutzis à BBC News. E na sua opinião um kill switch não teria resolvido o problema.
“Desligar o sistema não desfaz o que já aconteceu”, afirma. “Se um sistema já foi comprometido, continuará comprometido, por mais depressa que alguém o desligue.”
Além disso, quem — ou o que — desligasse o sistema só o poderia fazer depois de o problema ser identificado.
Fontes da OpenAI disseram à agência noticiosa Reuters que a empresa demorou vários dias a perceber que tinha perdido o controlo do agente. Mais tarde, um porta-voz da empresa contestou a reportagem da Reuters, afirmando à agência noticiosa que o texto continha “várias imprecisões”.
(ZAP)