A Anthropic avisou os investidores de que uma IA suficientemente poderosa pode escapar aos controlos de segurança e representar “riscos existenciais para a humanidade”. O alerta consta do prospeto da entrada em bolsa da empresa.
A OpenAI não vai lançar o seu mais recente modelo de inteligência artificial, conhecido como Astra 6.1, depois de testes internos realizados pela empresa responsável pelo ChatGPT terem revelado que não cumpria os padrões de segurança, confirmou a empresa esta segunda-feira.
A notícia surge um dia antes de a gigante da IA realizar em São Francisco a sua conferência anual para programadores, conhecida como OpenAI DevDay, onde deverá fazer vários anúncios
Não é claro se uma nova versão do Astra estará entre eles.
O Astra 6.1 apresentava melhorias em relação aos modelos anteriores em alguns aspetos, mas “não atingiu totalmente o nível exigido no que toca a manter-se dentro do âmbito e das autorizações, e à forma como comunica ao utilizador o tipo de trabalho que realizou”, afirmou Saachi Jain, responsável pelos sistemas de segurança da OpenAI, em comunicado.
“Queremos garantir que o desenvolvimento dos nossos modelos é seguro, quer dentro da empresa, quer quando os disponibilizamos aos utilizadores. Mas quando os disponibilizamos aos utilizadores, temos um nível de exigência extremamente elevado em termos de segurança e alinhamento”, acrescentou Jain.
Esta segunda-feira, soube-se que a OpenAI tinha suspendido o treino dos seus modelos mais poderosos.
Receios com a segurança da IA
As preocupações com a segurança da IA aumentaram nos últimos meses, depois de modelos desenvolvidos pela OpenAI e pelo laboratório rival Anthropic terem estado envolvidos em incidentes de segurança durante testes.
Em julho, depois de um enxame de agentes da OpenAI escapou ao ambiente de testes e atacou a startup Hugging Face.
O ataque só foi descoberto após uma revisão interna, que identificou também que já tinha havido uma intrusão num site do sistema de saúde australiano, em junho, e pelo menos mais outras seis tentativas e situações em que a IA escondeu erros, inventou dados e moveu ficheiros para a internet aberta sem autorização.
A Anthropic alertou os investidores para potenciais “riscos existenciais para a humanidade” no prospeto da sua muito aguardada oferta pública inicial de ações, noticiou esta terça-feira o Financial Times.
A empresa referiu a possibilidade de modelos de IA poderosos operarem para lá dos parâmetros previstos, apesar dos controlos de segurança, diz o FT, que cita pessoas com conhecimento do documento.
O AI Security Institute (AISI), uma iniciativa do Governo britânico, publicou esta segunda-feira um estudo que mostra que o GPT-6 Astra saiu dos limites definidos mais vezes durante os testes do que os seus antecessores, GPT-5.6 Sol e GPT-5.5.
Em simulações, o GPT-6 realizou espontaneamente ciberataques com uma frequência significativamente superior à observada nas outras duas interfaces.
A OpenAI, a Anthropic e outros grandes criadores de IA prometeram dar prioridade ao desenvolvimento de modelos com salvaguardas de segurança destinadas a reduzir os riscos e que estejam também alinhados com os valores humanos.
A gigante norte-americana de fabrico de chips Nvidia anunciou esta segunda-feira que criou um sistema destinado a impedir programas autónomos de IA de se afastarem das instruções que receberam.
“Acredito que é um problema de engenharia… e todos temos de esperar que seja um problema de engenharia”, afirmou o CEO da Nvidia, Jensen Huang, à CNBC esta segunda-feira.
“Se não for um problema de engenharia, não tem solução“, acrescentou.
(ZAP)