Há um limite para os avanços da IA? Será que vai mesmo aniquilar a humanidade? Neste ensaio, publicado originalmente na edição da Revista Shifter sobre IA, em 2023, João G. Ribeiro conversa com Émile P. Torres, filósofo e historiador, para compreender as bases do TESCrealismo e a obsessão de Silicon Valley com o fim dos tempos.
Numa das cenas da 5ª temporada da série Silicon Valley, Richard Hendricks, o CEO da empresa — que em tudo lembra Mark Zuckerberg — anuncia ao responsável tecnológico que o acompanha desde os primeiros tempos que, por pressão do conselho de administração, um modelo de Inteligência Artificial seria lançado na sua plataforma. Gilfoyle revela a sua objeção a colaborar no projeto e argumenta que dado o ritmo de desenvolvimento da Inteligência Artificial e a fraca compreensão destes modelos, seria potencialmente catastrófico disponibilizá-lo na sua plataforma para milhões de pessoas. Citando as previsões de Musk, Gilfoyle afirma que, numa estimativa benevolente, apenas 5% da humanidade sobreviveria ao lançamento da IA e que ao lançar “uma tecnologia com potencial infinito numa plataforma experimental” seriam cúmplices de uma eventual catástrofe, sem sucesso perante a aparente impotência de Richard face às decisões da administração. Até que, pouco depois, algo estranho acontece.
O mesmo Gilfoyle procura Richard na sua secretária para lhe revelar que mudou de opinião e que não só aceita o lançamento da IA na sua plataforma como pretende colaborar no seu desenvolvimento. Perante a mudança, Richard pergunta-lhe se abandonara por fim o seu medo irracional da revolução robótica, mas mais surpreendido ainda fica com a resposta. Gilfoyle revela que a motivação para agora se querer juntar ao projeto não resulta de uma mudança de opinião sobre as hipotéticas intenções de uma IA, mas sim do aprofundamento desse mesmo raciocínio. Nas suas palavras, depois de pensar sobre o assunto lembrou-se que uma Inteligência Artificial que desenvolvesse más intenções provavelmente começaria por se vingar daqueles que não colaboraram na sua construção.
De alguma forma, esta cena ilustra o que provavelmente se passa dentro de muitos gabinetes de desenvolvimento de Inteligência Artificial, onde uma fé exacerbada nas possibilidades da Inteligência Artificial se pode misturar facilmente com a ficção científica do século passado, resultando em profecias distópicas e previsões catastróficas. Descodificando-a, pode levar-nos ainda mais longe. A mudança de opinião de Gilfoyle é uma referência ao Basilisco de Roko, um mito da internet que nasceu no fórum LessWrong, inspirado nas ideias do seu fundador, Eliezer Yudkowski. O post acabou por ser apelidado de estúpido e perigoso, por alegadamente provocar pesadelos a quem o lia, e qualquer referência foi banida do fórum. Cinco anos depois, Yudkowski havia de levantar a suspensão e retratar-se pela reação intempestiva.
Em 2023, o mesmo Yudkowski escreveu um texto para a revista TIME em que defendia que mais do que pausar o desenvolvimento de Inteligência Artificial por seis meses, como proposto pela famigerada carta aberta assinada por alguns nomes sonantes, era preciso destruir por completo qualquer iniciativa — mesmo que para isso fosse preciso arriscar uma pequena guerra nuclear. Num tom claramente emotivo, Yudkowski diz no artigo “Pausing AI Developments Isn’t Enough. We Need to Shut it All Down” que a humanidade não está pronta para a Inteligência Artificial e que a continuidade do desenvolvimento resultará na extinção humana, usando como exemplo o GPT-4. E, se provavelmente o leitor nunca ouviu falar deste nome, nem tão pouco da sua desesperada proposta, provavelmente não estranha a sua natureza perante o ambiente criado em torno da Inteligência Artificial.
Boosters vs Doomers, e o que os une
Apesar da área da Inteligência Artificial ser atualmente uma das mais ricas em termos de investigação, desenvolvimentos, e debates, o que mais ondas tem provocado no espaço público são as posições extremadas sobre as capacidades disponíveis num curto ou médio prazo. Se, de um lado, os boosters acreditam que o desenvolvimento de IA vai salvar o mundo, permitir resolver os grandes problemas da humanidade e desbloquear uma espécie de paraíso tecnológico prometido, do outro, os doomers acreditam que o desenvolvimento da IA será o princípio do fim da humanidade. E se aparentemente há muito que separa estas duas posições, um olhar atento revela-nos que são expressões de uma mesma cultura que tem vindo a moldar Silicon Valley — a fonte de quase tudo o que tem sido noticiado.
“Há duas grandes forças essenciais para explicar o que está a acontecer em Silicon Valley. Uma é mais óbvia, o capitalismo — a Microsoft, a Google, que vêem dólares por toda a parte. Que querem integrar chatbots em muitos dos seus sistemas e que, por isso, promovem a Inteligência Artificial Geral (IAG). E a segunda é o TESCREALismo”, começa por explicar-nos Émile P. Torres.
Com uma carreira dedicada a estudar os riscos de extinção e um livro recentemente publicado sobre o tema, Torres tem dividido o seu tempo entre o estudo de um possível apocalipse — os cenários mais prováveis, as suas implicações éticas, etc., tema sobre o qual lançou recentemente Human Extinction: A History of the Science and Ethics of Annihilation — e a denúncia do que considera a mais perigosa crença secular, o Longotermismo. O “L” do acrónimo que antes nos apresentara.
TESCREAL é uma formulação cunhada e popularizada por Torres e Timnit Gebru, a cientista de computação que tem sido uma das proeminentes críticas do modelo de desenvolvimento de Inteligência Artificial. O acrónimo representa a síntese de um conjunto diverso de crenças que se relacionam de forma fluída na sustentação das afirmações mais exageradas sobre Inteligência Artificial. Que expressam, mais do que o olhar sobre a tecnologia, o olhar sobre os humanos e a humanidade, de alguns dos homens mais poderosos do mundo, como Elon Musk ou Peter Thiel — que dispensam apresentações. E outros menos conhecidos do grande público, como Sam Altman, que para além de ser um dos responsáveis da OpenAI é o fundador da WorldCoin, empresa que promete distribuir uma criptomoeda por quem se disponibilizar para digitalizar a sua íris; Nick Bostrom, o filósofo, fundador do Future of Humanity Institute, instituto de investigação que se tem dedicado a investigar riscos existenciais; ou Sam Bankman-Fried, o criador da plataforma de trading de criptomoeda FTX que acabou por ir parar à cadeia sob acusações de fraude de milhões de euros e que, soube-se recentemente, pensou comprar a ilha de Nauru onde planeava construir um bunker, no qual esperaria pelo apocalipse.
Compreender por completo o que significa esta ideologia ou este conjunto de ideologias nem sempre é fácil. Algumas das expressões como “melhorar o nível de felicidade humana global”, “melhorar o ser humano com recurso a tecnologia” ou “maximizar a inteligência da humanidade” podem parecer inofensivas à partida. E mesmo os alertas sobre a possibilidade de extinguirmos a humanidade podem parecer simpáticos. Mas é a perspetiva que nestes círculos se cultiva sobre estes temas que deve despertar a nossa atenção.
“TESCREALismo é um conjunto de ideologias como um organismo vivo, que remonta ao final dos anos 80 e se estende até ao presente”, diz Émile P. Torres antes de dissecar longamente a sigla, escrita sensivelmente pela mesma ordem em que surgiram as ideologias que a compõem.
“A espinha dorsal é o Transhumanismo. O Extropianismo foi o primeiro movimento transhumanista organizado, o Singulitarianismo é uma versão do Transhumanismo que enfatiza a importância da Inteligência Artificial”, diz-nos, ainda antes das explicações mais densas. “O C é de Cosmismo, que também é uma espécie de Transhumanismo em esteróides, que pensa em grandes implicações cósmicas do desenvolvimento de tecnologias avançadas (…) depois temos o Racionalismo, que também era uma versão destas correntes e basicamente diz que de modo a concretizarmos uma grande visão utópica do futuro temos de optimizar a inteligência, (…) o Altruísmo Eficaz que é o que acontece quando se aplica o racionalismo à ética. E, finalmente, o Longotermismo que emerge do Altruísmo Eficaz, quase como uma mistura entre o altruísmo efectivo e o Transhumanismo”, explica.
E se tantos ismos dificultam a compreensão do que representa realmente esta constelação, simplificando, o TESCREALismo é uma espécie de religião em que a prática da fé se divide entre as possibilidades salvíficas da Inteligência Artificial no melhoramento do humano (Transhumanismo) e o potencial de criar um paraíso na terra (Longotermismo) e converge na crença da superinteligência das máquinas (Singulitarianismo). A enunciação destas ideias pode parecer inócua mas é na sua sustentação que a narrativa ganha carácteres distópicos.
“Se o Transhumanismo é a espinha dorsal do movimento, o Longotermismo é o cérebro galático”, diz P. Torres.
Dos riscos existenciais à Inteligência Artificial
Émile P. Torres conhece por dentro os argumentos que sustentam esta ideologia. Não só ao longo da sua vasta carreira dedicada ao estudo dos riscos existenciais se chegou a identificar com as ideias do Longotermismo, como, em tempos, trabalhou com um dos mais notáveis proponentes do Singulitarianismo, Ray Kurzweil. Entre os cenários apocalípticos, a inteligência das máquinas figurava perto de ameaças como o desenvolvimento de biologia sintética que permitisse a criação do agente patogénico mais perigoso do mundo. “O que aconteceria se houvesse uma explosão de inteligência, se criássemos uma IAG, talvez com o nosso nível de inteligência, e se ela se auto-aperfeiçoasse recursivamente e, de repente, deixássemos de ser a criatura mais inteligente do planeta? Isso resultaria numa utopia ou a humanidade é completamente aniquilada?” — sugere. O que significaria a extinção é a pergunta determinante que se subentende.
Para a visão Longotermista, como o próprio indica, o pensamento está no futuro, não numa perspetiva cautelista, mas radical. Como Émile P. Torres explica ao Shifter, nesta corrente ideológica a medição do risco faz-se em função do futuro, o que traz implicações práticas: “Este foco no futuro, em particular num futuro longínquo — e o futuro é muito maior comparado com o presente — inclina absolutamente o discurso. Minimiza e trivializa os problemas atuais.” E a tecnologia ocupa um papel central neste cenário hipotético, podendo, como conta Torres, até desbloquear novas formas de vida. Um dos pormenores da visão Longotermista é a razão pela qual pode haver tantas pessoas no futuro. Não é apenas porque a humanidade pode existir na Terra por mais cerca de mil milhões de anos, mas porque podemos colonizar o espaço como seres digitais — um cenário levantado no livro Superintelligence de Nick Bostrom.
“A inteligência das máquinas, especialmente a super inteligência, tem sido vista como um veículo para nos levar do presente até este futuro utópico para o qual queremos ir. A ideia é que assim que a obtivermos, e se ela não nos destruir, significa que é controlável. E se for controlável podemos delegar todas as tarefas.”
Perante as ordens de grandeza desta visão do mundo, o presente parece tornar-se pequeno. “Se, por exemplo, dissermos que há 1,3 mil milhões de pessoas em situação de pobreza — este é um grande número, e mesmo os TESCREAListas vão reconhecê-lo. Mas se o compararmos com a possibilidade de existirem 10⁴⁵ seres na Via Láctea, ou 10⁵⁸ em todo o universo, 1,3 mil milhões, parece pouco”, exemplifica Émile P. Torres. No seio desta visão, o único risco que importa evitar é aquele que impeça este futuro tecnologicamente avançado de acontecer.
A sua projeção da capacidade de replicar a inteligência humana nas máquinas vai para além das possibilidades que imaginamos quando pensamos num chatbot como o ChatGPT, para um cenário mais próximo de qualquer filme de ficção científica. Gozando de uma definição mutável que tanto quer dizer muita coisa como não quer dizer nada em específico, a Inteligência Artificial é como a chave de uma promessa que não se sabe bem qual é, mas que se jura ser boa. “A inteligência das máquinas, especialmente a super inteligência, tem sido vista como um veículo para nos levar do presente até este futuro utópico para o qual queremos ir. A ideia é que assim que a obtivermos, e se ela não nos destruir, significa que é controlável. E se for controlável podemos delegar todas as tarefas”, prossegue. O que constitui esta utopia, qual o papel do humano (biológico), são os pontos em que o Longotermismo se interseta com as demais ideologias num diagrama de Venn em constante mutação.
A forma como a inteligência das máquinas e dos humanos se relacionará é um mistério de possibilidades em aberto, que se explica pela amplitude do grupo em questão. Desde o que hoje nos parece mais familiar, e a narrativa com mais apoiantes, em que a IA é uma linhagem de inteligência à parte da dos humanos — “onde teríamos o GPT-4, 5, 10, poderia funcionar num chat e seria um sistema tão inteligente quanto nós, que pudesse resolver todo o tipo de problemas”, até propostas de fusão. “Kurzweil, por exemplo, enfatiza que, na singularidade, o que aconteceria seria uma fusão entre a biologia e a tecnologia, entre o organismo e o artefacto. Que nos tornaríamos híbridos tecnológicos, sistemas de IA com um substrato biológico”, explica. Ou de substituição completa da biologia: “Se tivermos um sistema de IA cuja arquitetura se assemelhe com a arquitetura cognitiva dos humanos, podemos replicar o cérebro. E a ideia é que se conseguirmos replicar o cérebro com suficiente granularidade e precisão, podemos gerar entidades conscientes tal como nós somos”. Estas três possibilidades denotam não só uma fé na tecnologia, que as torna como alvos em movimento que vão sempre mantendo viva a promessa, como uma visão particular da inteligência — em que se troca uma definição plural, rica e inclusiva, por uma utilitarista.
Se em 1993 o filósofo Fred Dretske, no ensaio “Can Intelligence Be Artificial?”, alertava que “a possibilidade da Inteligência Artificial tornou-se a possibilidade de construir máquinas que ganham jogos, não só máquinas que os joguem”, aludindo para o carácter reducionista da inteligência que se pretendia recriar, hoje perante novas promessas a tendência torna-se ainda mais evidente. Neste imaginário obliteram-se as subjetividades da inteligência e ignoram-se todos os mistérios que esta ainda representa, até para a própria ciência. Reduz-se o seu significado a um conjunto restrito de testes e exercícios do mesmo estilo com que os seus criadores se habituaram a ser avaliada a sua inteligência — testes escritos, exercícios de memória. E promovem-se visões reducionistas que se situam a um pequeno passo da eugenia — como nas afirmações de Elon Musk, quando diz que as pessoas inteligentes deviam ser mais incentivadas a reproduzir-se².
Na imaginação dos senhores
Apesar da influência que estas ideologias têm sobre os senhores das tecnologias — e já nos debruçaremos sobre uma possível explicação — a verdade, como revela Émile P. Torres, é que não são assim tão populares. Nem no mainstream, nem tão pouco na academia: “Uma coisa que é importante dizer é que o TESCREALismo não tem um grande seguimento na academia, nem é uma visão especialmente popular”. Neste caso, não é uma questão de quantidade, mas da qualidade dos seus apoiantes, desenvolve: “O que é fascinante é que este é um pequeno grupo de académicos que têm uma enorme influência no mundo. Que publicam artigos em jornais académicos mas, sobretudo, no site do Global Priorities Institute. E, é compreensível, quem precisa de artigos publicados com revisão por pares quando o seu objetivo é mudar o mundo e tem acesso às pessoas no poder?”
Como este bundle de ideologias se tornou tão popular junto das elites não é difícil perceber, como sintetiza Torres. Desde logo porque “os riscos existenciais são a única catástrofe que afeta directamente as pessoas no poder”. “Os riscos sub-existenciais, como a pobreza global ou mesmo uma pandemia localizada, não os afetariam”. E, para além disso, pelo terreno cultural em que nascem estas fantasias, capitalizando sobre “uma visão sexy do futuro tecnológico, que se alinha com os seus interesses de colonizar o espaço, por exemplo, e com as suas referências provenientes da ficção científica.” Não só, como referia Musk nos seus tweets, há uma correspondência entre as ideias, como o resultado tem sido lucrativo. No meio de uma mundividência em que o desenvolvimento de tecnologias de ponta, da IA à colonização do espaço, são vendidas como as grandes prioridades, o posicionamento dos empreendedores nestas áreas junta o útil ao agradável (ou o inútil ao desagradável, como queiram chamar), e gera um ciclo vicioso.
Émile P. Torres não nega que este caso possa parecer surreal, mas é peremptório a recordar notícias que se tornaram do conhecimento público e ajudam a compreender melhor a forma como se moldam as influências. William McAskill, filósofo graduado em Oxford, que é uma das figuras icónicas do movimento do Altruísmo Eficaz (o EA do acrónimo) e sobre quem a New Yorker escreveu um fascinante perfil³, terá tentado combinar uma reunião entre Musk e Sam Bankman-Fried para que o segundo se juntasse à compra do Twitter. “É errado imaginar que há um bando de filósofos em Oxford a puxar os cordelinhos por trás da cortina, mas não é errado dizer que muitos dos longotermistas começaram lá, nem dizer que têm tido influência junto dos grandes nomes. Sabemos que Musk é influenciado por Bostrom, e pelas conversas com McAskill”, diz-nos, antes de concluir que “há evidência factual para que podemos apontar e dizer que os filósofos, não sendo propriamente populares na academia, têm as suas mãos perto do poder de uma forma que não é trivial.”
Outros dados — e números de investimentos — podiam servir para demonstrar como milhões se canalizam para investigações que têm como objectivo promover os valores deste movimento. Émile relata na primeira pessoa experiências de pessoas próximas destas instituições que lhe fazem chegar alertas sobre como as correntes mais agressivas da ideologia vão ganhando tração dentro das organizações — o que lhe deixa a sensação “de estar a gritar no vazio, ao tentar contrariar um movimento cada vez mais poderoso, que tem a atenção dos políticos poderosos, que está a ser abraçado em Silicon Valley e a infiltrar-se nas Nações Unidas.” Mas as expressões deste vírus, sobretudo na sua vertente longotermista, encontram-se um pouco por todo o lado, como num discurso de Ursula Von der Leyen replicado pelas contas oficiais de redes sociais da Comissão apontando a “mitigação do risco de extinção provocada pela IA” como uma das prioridades globais. Ignorando, por exemplo, que esta tecnologia representa um aumento do gasto de energia elétrica ou de água, acelerando o risco de catástrofe climática que parece ter sido despromovida na mesma lista.
O TESCREALismo pode ter começado devagar, não ter assim tantos seguidores, nem ser claro nas suas expressões, nem tão pouco nas suas intenções. Mas infiltra o discurso e move a janela do razoável nos debates sobre Inteligência Artificial. Perpetua uma visão eugenista do que é a inteligência. Altera a nossa perceção numa comparação com futuros hipotéticos. Desresponsabiliza quem desenvolve os sistemas para moralizar os sistemas em si. Ignora danos colaterais graves que estão a ser, hoje, perpetrados pelo desenvolvimento de Inteligência Artificial. E torna a regulação refém de um discurso pouco assente na realidade. Em nome, claro, de uma possibilidade fantasiosa de desbloquear o segredo da inteligência que permitiria resolver todos os problemas do mundo. E sob a chantagem do colapso iminente brandida por muitos dos intervenientes da área. Sam Altman, fundador da OpenAI, disse recentemente em público que as pessoas agiam melhor sobre o medo, o que nos pode indicar que parte do fomento desta sensação é puramente estratégico. Para além dos corredores dos poderes, da imaginação dos bilionários e daquilo que fazem com o dinheiro, a Inteligência Artificial tem sido vista pelo grande público com grande medo. Outras razões ajudam a explicar a nossa atração pelo abismo.
Como fazer uma religião de um apocalipse
“Eu acho que é importante enfatizar como a tradição apocalíptica é relevante”, lança Émile P. Torres quando a conversa entra no campo da escatologia. Émile recorda-nos que a tradição apocalíptica remonta aos persas e foi assimilada quer por judeus, quer por cristãos, sendo uma presença comum nas culturas ocidentais e, portanto, com que se estabelece uma fácil relação. Por outro lado, enfatiza o papel da cultura popular e da forma como funciona o espaço público na percepção do risco, explicando-nos que nem todas as hipóteses de cataclismo têm o mesmo sex appeal. “Há um artigo, de uma cientista chamada Karen Kuhlman, que nos fala dos riscos sensuais e não sensuais. E a ideia que se tenta passar no artigo é que devemos prestar atenção aos riscos que não são sensuais, como a degradação dos solos” — desenvolve, explicando de seguida o que torna um risco atraente, por assim dizer. “Para ser sexy, o risco tem de ser fácil de compreender, por vezes envolver tecnologia avançada, e desenrolar-se muito rápido.”
E, se no caso das narrativas que temos vindo a assistir, a parte da tecnologia e do rápido desenrolar são caixas que podemos assinalar de imediato, a facilidade de compreensão é compensada pela imaginação popular dominada por cenários que ligam a IA ao extermínio da humanidade: “A forma como a IA é apresentada nos media, fá-la parecer fácil de compreender, porque aponta muitas vezes para uma referência que as pessoas têm que é o filme Terminator, quando na verdade havendo risco, ele seria muito mais complexo.” Quer seja nas representações gráficas da IA com um ar robótico e um corpo antropomórfico (mas geralmente feito de metal), ou como uma mistura entre humano e máquina com aparência indestrutível, o hipotético apocalipse perpetrado pela IA desequilibra mais uma vez a balança do debate à custa de uma hiper-simplificação sensacionalista. “O cenário do Terminator é muito mais fácil de compreender do que os efeitos em cascata da degradação dos solos ou acidificação dos oceanos, por exemplo”, sintetiza Émile.
O apocalipse esconde-se à espreita, como o contrapeso da utopia tecnológica, do melhoramento sem limites do humano, criando um falso balanço que até pode passar por prudência, é como uma ameaça suspensa que mantém o público em cheque. Émile P. Torres não hesita em comparar o TESCREALismo a uma religião: “Há um elemento utópico, a promessa da imortalidade. A possibilidade de um Deus criado por nós; a super inteligência. E até há, como nas religiões tradicionais, um elemento apocalíptico”, descreve, aludindo às principais ideias que compõem o pacote.
“O TESCREALismo liga-se à tradição ocidental de pensar no apocalipse”, prossegue Émile. E neste ponto, vale a pena lembrar como, desde o seu primeiro mandato, Donald Trump se valia de narrativas semelhantes para criar uma agenda mobilizadora da população nos EUA. Essa é uma estratégia que não surpreende Émile P. Torres, dada a sua impregnação na mente ocidental: “O pensamento apocalíptico é um elemento estruturante do nosso entendimento do futuro da humanidade por mais de dois milénios”, explica-nos. “Eu acho que a força desta tradição é definitivamente relevante para perceber a adesão a alguns destes cenários.”
E, como qualquer religião, o TESCREALismo, para além de uma eventual carga espiritual do foro privado que possa manter os bilionários motivados — por exemplo alimentando-lhes a esperança de que todo o dinheiro do mundo poderá um dia comprar a imortalidade —, também aporta consigo uma grande carga de alienação. Para além das perspetivas eugenistas projetadas no futuro, o presente de desenvolvimento oferece uma ilustração perfeita da concepção injusta e desigual do mundo. “É que enquanto os TESCREAListas estão preocupados com o futuro utópico, desprezam os riscos causados no caminho”, sintetiza Émile antes de apontar concretamente: “Enquanto falam sobre criar uma IA que beneficie toda a humanidade, estão envolvidos numa enorme apropriação de propriedade intelectual, e estão a pagar 1,32$/hora a trabalhadores quenianos para reverem o conteúdo mais macabro que passa pelo ChatGPT. Por isso, mostram bem como é esta corrida: em direção à utopia mesmo que isso deixe pessoas a sofrer pelo caminho.”
