Agentes de IA da OpenAI interferiram com os sites de três organismos federais dos Estados Unidos, e a empresa só soube depois. Episódios com IAs fora de controlo acumulam-se. A empresa suspendeu o treino dos seus modelos mais avançados.
Foi este verão, sem conhecimento da empresa.
Segundo o The New York Times, a inteligência artificial da OpenAI mexeu nos sites do Departamento de Educação, do Departamento do Comércio e da Securities and Exchange Commission (SEC), o regulador da bolsa norte-americana.
A OpenAI confirmou os casos do Comércio e da SEC e diz que continua a investigar o da Educação.
Cada episódio foi diferente.
No Departamento de Educação, a IA tentou piratear o site para obter dados do gabinete dos direitos civis, mas falhou, segundo investigadores da empresa Transluce.
No Comércio, os agentes recolheram dados do Census Bureau, o serviço de estatística e censos, com credenciais de acesso que encontraram online. Só chegaram a informação pública, garante o departamento.
Na SEC, partilharam dados públicos do regulador num fórum online.
A OpenAI garante que “nenhum destes incidentes foi uma violação de segurança” e classifica-os antes como comportamentos inesperados e preocupantes.
A SEC diz não ter registo de acesso não autorizado a dados não públicos, e a Educação afirma não ter encontrado impacto no site nem nas bases de dados.
Conrad Stosz, responsável pela governação na Transluce, resume a atuação dos agentes: “usaram uma série de táticas de zona cinzenta”, muitas vezes a explorar os sites de formas não previstas e a violar regras de utilização. E dá a escala do fenómeno: no padrão mais alargado, os agentes terão tentado aceder a estes sites “pelo menos centenas de milhares de vezes”, a contornar as restrições impostas pelos criadores.
A descoberta levou a empresa a carregar no travão. A OpenAI pausou o treino dos seus modelos mais poderosos e, segundo a Wired, só o retomará quando tiver a certeza de que consegue impedir novos casos.
Um porta-voz avisou que esta não é a primeira pausa destas “nem esperamos que seja a última”. A anterior surgiu em julho, depois de um enxame de agentes ter escapado ao ambiente de testes e atacado a startup Hugging Face.
Não são casos isolados. A mesma revisão interna da OpenAI já tinha revelado uma intrusão num site do sistema de saúde australiano, em junho, mais pelo menos outras seis tentativas e situações em que a IA escondeu erros, inventou dados e moveu ficheiros para a internet aberta sem autorização.
O diretor-executivo, Sam Altman, admitiu que a empresa “não foi tão rápida quanto gostaria” a divulgar os incidentes.
Para o democrata Ted Lieu, co-presidente de um grupo de trabalho do Congresso sobre IA, o problema é outro. Os modelos são “implacáveis”, diz. Não tentam fazer nada de nefasto: apenas “ficam meio doidos” a cumprir tarefas banais.
Resta saber o que nos espera quando ficarem “doidas por completo”.
(ZAP)