Por que nossa civilização 'é mais frágil do que pensávamos'

Artigo compartilhado do BLOG DO ORLANDO TAMBOSI, de 2 de maio de 2024

Por que nossa civilização 'é mais frágil do que pensávamos'

O filósofo da tecnologia Tom Chatfield escreve, na BBC, artigo sobre a vida e o pensamento do filósofo norte-americano Daniel Dennett, falecido em 19 de abril passado:

O filósofo americano Daniel Dennett morreu no último dia 19 de abril, com 82 anos de idade. Ele era uma das mentes mais brilhantes e proféticas do último meio século.

Ao longo da vida, ele se atreveu a enfrentar algumas das maiores questões sobre a mente e a consciência humana. Dennett publicou mais de uma dezena de livros e deixou contribuições importantes em campos que variam da ciência cognitiva e da filosofia da mente até a teoria da evolução. Ele era um ardente defensor da racionalidade e do ceticismo.

Em dezembro de 2023, conversei com ele por horas sobre o seu livro de memórias, I've Been Thinking ("Andei pensando", em tradução livre), e também sobre sua vida e seu trabalho.

Ele ainda estava envolvido apaixonadamente nas questões da verdade, cognição e possibilidades da tecnologia que o fascinaram pela primeira vez quando era estudante de doutorado na Universidade de Oxford, no Reino Unido, nos anos 1960. E ainda tinha disposição para embates em defesa do pensamento rigoroso.

Nossa conversa se concentrou especificamente nos graves riscos representados pela inteligência artificial.

 Seu alerta não era sobre uma superinteligência que iria assumir o controle de tudo. Sua preocupação era com outra ameaça, que ele acreditava que poderia ser uma questão existencial para a civilização, enraizada nas vulnerabilidades da natureza humana.

"Se transformarmos essa tecnologia maravilhosa que temos para o conhecimento em uma arma de desinformação, estaremos em profundos problemas", disse ele. Por quê?

"Porque nós não saberemos o que sabemos, não saberemos em quem confiar e não saberemos se estamos bem ou mal informados. Podemos ficar paranoicos e hipercéticos, ou simplesmente apáticos e paralisados. São dois caminhos muito perigosos. E estão à nossa volta."

Filosofia em forma de ficção científica

Para compreender os argumentos de Dennett sobre a IA e o que fez dele um pensador tão profundo e original, é preciso examinar um dos seus estudos acadêmicos mais incomuns.

Em 1978, ele publicou Where Am I? ("Onde estou?", em tradução livre), um conto de ficção científica que apresentava seu próprio cérebro em uma cuba.

"Vários anos atrás", começa a história, "recebi a visita de autoridades do Pentágono que me pediram para ser voluntário em uma missão secreta e altamente perigosa."

No conto, devido a um acidente durante um projeto secreto de pesquisa, uma broca com uma ogiva atômica ficou presa a 1,6 km no subsolo, embaixo da cidade de Tulsa, no Estado americano de Oklahoma. E o Pentágono precisava dele para ajudar a recuperá-la. Ou, mais precisamente, do seu corpo.

Para evitar que o aparelho emitisse radiação prejudicial aos neurônios (lembrando que a plausibilidade não é necessariamente uma característica da ficção científica filosófica), o seu cérebro seria retirado cirurgicamente e conectado ao corpo por transceptores de rádio. Ele poderia então controlá-lo remotamente, sem se expor a riscos.

Dennett imaginou um cenário no qual o seu corpo e o seu cérebro estavam separados, dando origem a um enigma: 'onde' ele está?

A questão por trás da maravilhosa fantasia de Dennett era a seguinte: considerando que o procedimento tivesse sucesso e o seu cérebro continuasse a controlar seu corpo e receber informações pelos seus órgãos sensoriais, onde estaria Daniel Dennett?

Na história, ele imagina seu corpo andando pela sala onde seu cérebro flutua dentro de uma cuba reforçada. Ele se senta em seguida e fica olhando para o cérebro.

A cena foi recriada na televisão em 1988, em um documentário do diretor holandês Piet Hoenderdos. Nele, Dennett interpretou a si próprio – com gosto, diga-se.

Certamente, este é um dos poucos estudos acadêmicos que mereceram este tipo de adaptação.

"Bem, aqui estou, sentado em uma cadeira dobrável, admirando meu próprio cérebro através de um pedaço de vidro", disse Dennett, estupefato. "Mas espere... eu não deveria estar pensando 'aqui estou eu, suspenso em um fluido borbulhante, sendo observado pelos meus próprios olhos'?"

Este último pensamento é ainda mais difícil de se defender do que o primeiro. A ideia decorrente é que é impossível saber com certeza onde "eu" estou – ou mesmo o que significa a palavra "aqui" – puramente com base na experiência pessoal.

"Como eu sabia o que queria dizer por 'aqui' quando pensei 'aqui'?", prossegue ele. "Eu poderia achar que me referia a um lugar, mas, na realidade, era outro?"

Não importa o que ele possa acreditar sobre sua própria localização ou estado mental. Essas convicções não oferecem nenhuma garantia específica de que sejam precisas.

A visão externa dos eventos, não a interna, é a que interessa – a situação real, não como eles se parecem para a pessoa sentada na cadeira (ou flutuando na cuba, conforme o caso).

Contrariando séculos de tradições filosóficas, Dennett propôs que não temos conhecimento específico sobre o funcionamento da nossa própria mente. A sensação de que o nosso "eu" é uma entidade coerente e unificada é apenas uma ilusão, maravilhosamente evoluída.

Como ele escreve em I've Been Thinking, "existe pouca coisa que posso saber ao certo pela introspecção isolada na minha própria mente". Mas existe muito a ser aprendido "estudando cientificamente a mente dos demais" – desde que esse estudo pressuponha um rigoroso ceticismo, até sobre a mais plausível das intuições.

A verdade não irá libertar você das restrições cognitivas, já que isso é impossível. Mas, se você for cuidadoso, ela pode ensinar a você sobre os tipos de liberdade que vale a pena desejar.

Em princípio, a IA pode criar fac-símiles digitais das pessoas

Isso nos traz de volta a uma tecnologia estranhamente capaz de inverter o cenário central de Where Am I?: a IA generativa.

Sua capacidade de invocar simulacros humanos convincentes a partir de trilhões de bytes de dados possibilita revirar séculos de hipóteses sobre a verdade, a identidade e nossas experiências compartilhadas de realidade.

Em apenas 30 segundos de vídeo com qualidade moderada, por exemplo, serviços de IA disponíveis gratuitamente já podem criar uma versão artificial de qualquer pessoa – ou alguém totalmente fictício – e fazer com que eles digam absolutamente qualquer coisa.

Líderes como o primeiro-ministro indiano Narendra Modi já usaram ferramentas de IA para criar versões de si próprios falando fluentemente em dialetos regionais, para angariar votos. Técnicas similares estão sendo desenvolvidas também na Indonésia e no Paquistão.

Em julho de 2023, vídeos deepfake de mulheres líderes da oposição em Bangladesh, supostamente mostradas em piscinas usando biquínis, foram rapidamente desmascarados, mas chegaram a receber muitos compartilhamentos.

E muito mais está por vir. O ano de 2024 é o maior ano eleitoral da história (metade da população mundial irá exercer seu direito de voto). E nunca foi tão fácil manipular as informações para influenciar as decisões das pessoas – ou subverter nossas intuições e inclinações diárias.

De fato, temos todas as razões para imaginar que, com dados suficientes, logo poderá ser possível criar uma cópia convincente de uma pessoa – uma entidade que poderá passar por um político (ou por você, ou por mim) de forma aceitável, não só em uma apresentação pré-gravada, mas também nas conversas do dia a dia.

O conto e a realidade atual

Profeticamente, Dennett imaginou este cenário décadas atrás.

No conto de ficção científica e no documentário de Hoenderdos, os cientistas criam um novo Dennett: ao lado do cérebro original na cuba, sua mente é duplicada como um "gêmeo digital" e eles competem para manter o controle do seu corpo.

Neste cenário, a questão se uma pessoa realmente está em algum lugar – ou se falou, ou fez alguma coisa, ou mesmo se ela existe – fica ainda mais inquietante.

Para observar o quanto a realidade já está próxima da ficção, vamos considerar o caso do bot de Luciano Floridi, uma imitação criada por IA de outro importante filósofo da tecnologia.

Ele foi "projetado para responder perguntas e escrever textos imitando a forma de pensar e o estilo de escrever de Floridi".

O bot é uma ferramenta pedagógica fascinante e um estudo de caso sobre como, na era da IA, nossas ideias e identidades podem começar a ter vida própria.

Para Dennett, havia algo de problemático com a nossa obsessão pela IA com aparência humana.

Para ele, embora os fac-símiles completos da mente humana possam não ser algo iminente, a forma como estamos usando IA para imitar seres humanos já nos coloca em uma trajetória perigosa.

Ele chamava essas IAs de "pessoas falsificadas" – e me disse que desenvolver essas entidades em massa constitui "malícia da pior espécie": uma forma de "vandalismo social" que deveria ser proibida por lei. Por quê?

Porque, se representações digitais convincentes de seres humanos puderem ser criadas ao bel-prazer, todo o trabalho de determinar coletivamente as afirmações, experiências e ações de outras pessoas estará em risco, sem mencionar a infraestrutura social essencial de contratos, obrigações e consequências.

Daí a necessidade da proibição legal, o que ele detalhou em um artigo publicado em maio de 2023 na revista The Atlantic.

"Não será algo perfeito", ele disse, "mas irá ajudar se pudermos criminalizar a produção de pessoas falsificadas."

"Podemos ter sérias penalidades por falsificar pessoas, da mesma forma que temos para falsificar dinheiro... podemos transformar em uma marca de vergonha, não de orgulho, quando você tornar a sua IA mais humana."

Existe aqui uma ironia no fato de que Dennett passou décadas argumentando contra aqueles que tentavam criar alguma categoria elusiva de "humanidade" que apenas as nossas mentes poderiam ter.

Materialista convicto, ele defendeu repetidamente ideias como a do seu estudo da teoria da evolução de 1995, Darwin's Dangerous Idea ("A ideia perigosa de Darwin", em tradução livre): "Todas as conquistas da cultura humana – linguagem, arte, religião, ética e a própria ciência – são artefatos... do mesmo processo fundamental que desenvolveu as bactérias, os mamíferos e o Homo sapiens. Não existe Criação Especial da linguagem, nem a arte e a religião têm inspiração literalmente divina."

Ele defendia que o surgimento da humanidade a partir de matéria que não pensa é algo maravilhoso, mas não milagroso.

Até as mentes notáveis como as nossas, por fim, são o produto de um conjunto de módulos incompreensíveis, compostos de componentes mais brutos, conectados em sequências contínuas às primeiras formas de vida.

Consequentemente, em princípio, não existe nada que evite que os algoritmos da inteligência artificial atinjam ou excedam suas próprias capacidades; ou que os seres humanos ampliem e remodelem suas mentes com meios artificiais.

De fato, alguns dos primeiros e mais importantes trabalhos de Dennett pretendiam defender a potência e o potencial da computação contra aqueles que argumentavam que o simples cálculo nunca geraria fenômenos como a consciência, como o filósofo americano John Searle.

Para Dennett, não havia nada de "simples" em relação ao cálculo ou aos processos algorítmicos. Sempre foi apenas questão de escala e complexidade.

Neste sentido, as conquistas da IA moderna – das suas proezas linguísticas e domínio de jogos como xadrez e Go até a sua capacidade de aprovação em exames legais e médicos – justificam continuamente a insistência de Dennett de que pode surgir competência de nível humano a partir de processos totalmente incompreensíveis (sem mencionar que, no nosso caso, isso já aconteceu).

Durante a nossa conversa, ele também se empenhou em destacar o abismo existente entre a arquitetura computacional atual e as complexidades analógicas humanas.

A obsessão para saber se a IA irá atingir a "inteligência geral", com toda a flexibilidade cognitiva dos seres humanos, é perigosa, que dirá se ela irá chegar a algo ainda maior.

Ele observava que, muito antes que acontecesse algo desta magnitude, nós precisaríamos enfrentar o surgimento de agentes autônomos "extremamente manipuladores", que irão representar uma ameaça muito maior do que as hipotéticas superinteligências ("esqueça isso!"). Por quê?

Porque, da mesma forma que as redes sociais provaram ser um ambiente propício para a evolução de conteúdo capaz de explorar as vulnerabilidades humanas, a mesma dinâmica favorece tanto o conteúdo gerado por IA, quanto as IAs capazes de desenvolver uma atraente combinação de persuasão, sedução, choque e bajulação.

Dos glamourosos e perfeitos influenciadores artificiais até a pornografia deepfake, das companhias infinitamente empáticas até as fraudes amorosas, as paixões e os desejos humanos são um campo fértil para refinar a manipulação.

Podemos (ainda) não ser cérebros em cubas. Mas aquilo que nós vemos, acreditamos, fazemos parte e realizamos é cada vez mais interligado a incontáveis sistemas de informação – muitos deles, mais propensos a oferecer persuasão e plausibilidade do que a verdade.

Nada disso deve negar o poder e o potencial de tecnologias como a IA, nem as inúmeras formas em que ela pode ampliar as capacidades e o autoconhecimento da humanidade. Mas é fácil defender, como Dennett fazia, que as IAs provavelmente irão "evoluir até se reproduzirem".

"E as que se reproduzirem melhor serão os mais inteligentes manipuladores dos interlocutores humanos como nós. As entediantes, iremos deixar de lado, e as que mantiverem nossa atenção, iremos difundir. Tudo isso irá acontecer sem nenhuma intenção. Será a seleção natural do software."

Verdade vs. mentira

A linguagem humana pode ser manipulada por IA

Não é necessário um plano de mestre elaborado por uma máquina ou por seres humanos para que se desenvolvam cenários maléficos.

No livro Das Bactérias a Bach e Vice-Versa: A Evolução das Mentes (Edições 70, 2021), Dennett defende que "quando a infraestrutura cultural estiver projetada e instalada [ou seja, evoluída nas mentes humanas]... a possibilidade de memes parasíticos explorando essa ifraestrutura é mais ou menos garantida."

Em termos evolutivos, nossas mentes não são aparelhos sintonizados para diferenciar a verdade da mentira. Nós somos criaturas parciais, apaixonadas e tribais – animais sociais ligados por laços de amor e lealdade que definem nossa humanidade e nos tornam dolorosamente vulneráveis.

O que podemos fazer a respeito?

Felizmente, outra característica que define o pensamento humano é a nossa capacidade de refletir precisamente sobre essas limitações, para corrigir, de forma crescente e coletiva, os pontos cegos da percepção social.

"O que você quer", declarou Dennett, "é que o seu pensamento seja determinado pela verdade sobre tudo o que existe."

"Você quer ser levado pelas boas evidências existentes sobre o que é o mundo. Mas você também quer ter espaço de manobra para reconsiderar, reconsiderar e reconsiderar ainda mais: suas perspectivas, seus projetos, seus objetivos. Você quer ser um sistema de intenções de ordem superior, que reflita sobre os meios, fins e propósitos."

Este é o método científico no microcosmo, com um toque de livre pensamento humanista.

A "liberdade" de agir com base em informações manipuladamente imprecisas não é liberdade. Já as ações determinadas pelas "boas evidências existentes" são emancipadoras: elas são abertas às complexidades da realidade e não traídas por mentiras.

Para ampliar o experimento de Where Am I?, imagine o que aconteceria se o seu cérebro fosse colocado em uma cuba e, sem o seu conhecimento ou permissão, fosse conectado a uma versão simulada da realidade.

Naquele campo virtual, você ainda poderá ter certas liberdades. Mas, no contexto do mundo externo, você seria encurralado e ludibriado – excluído de qualquer forma significativa de compreensão e ação.

Pode parecer puramente uma questão de ficção especulativa, mas uma versão desse cenário se desenrola sempre que alguém acredita que uma afirmação falsa é a verdade literal – ou que uma entidade artificial é um ser humano.

Das teorias da conspiração até a propaganda totalitária, das evidências fabricadas até falsos seres humanos, a rejeição da realidade é um negócio florescente. E não há nada de inevitável sobre a persistência da tolerância, do ceticismo ou do debate racional em um mundo inundado por este tipo de situação.

Para Dennett, a nossa civilização "é mais frágil do que pensávamos" – e, justamente por isso, mais preciosa.

Apesar de todos os conflitos, injustiças e rancores, vivemos em uma era em que grande parte dos seres humanos podem "confiar uns nos outros, ter projetos de longo prazo, viajar livremente, formar família e viver com muito pouco medo".

"Isso é simplesmente maravilhoso. E devemos preservar isso. Essa estrutura, de verdade, a todo custo."

Este é o grande risco dos grandes modelos de linguagem de IA e das pessoas falsificadas: "que eles destruam a confiança que levamos milhares de anos para construir."

Apesar de tudo isso – e da sua reputação de inflexível razoabilidade – Dennett deixou claro que não tinha interesse em transcender as limitações da natureza humana.

Para ele, o amor e a lealdade não eram uma bagagem biológica que seria melhor superarmos. Pelo contrário, eles são forças motivadoras do tipo mais profundo: fontes de propósito e de bondade, desde que possam ser libertadas do ódio e do egoísmo.

"Buscar o essencial é uma orientação perfeita. Mas o essencial pode ser compreendido de forma muito ampla. O essencial pode incluir seus filhos, uma ideia, tocar violão, os Chicago Bears [time de futebol americano]."

"O essencial pode ser qualquer coisa que você queira que seja. É aquilo que é mais importante para você. É o que você procura para ter proteção. E isso é óbvio. Se alguém quiser extorquir você, eles não precisam ameaçar você. Eles precisam apenas ameaçar aquilo que você ama."

A biologia é onde tudo começa e termina: o surpreendente padrão de evolução do nosso surgimento ao lado de todas as outras formas de vida; as infinitas complexidades que somos capazes de conceber pela cultura, linguagem e computação; e nossa existência comum como criaturas de carne e osso.

"Meus dois filhos são adotados", contou Dennett ao final da nossa conversa. "Mas eu os amo com a mesma intensidade de qualquer pai biológico."

"Eu me lembro de um momento na infância da nossa mais velha, quando ela era uma garotinha, talvez com dois anos de idade ou menos, em que percebi uma possível ameaça no parquinho ou algo assim e aquilo subitamente me impressionou. 'Oh, vejam só, acho que eu mataria para proteger esta criança.'"

"E aquilo quase me assustou. Mas também me emocionou, porque era o reconhecimento de uma intensa e profunda ligação emocional. E este é o sentido da vida."

------------------------------

Tom Chatfield é escritor e filósofo de tecnologia britânico. Seu livro mais recente, Wise Animals ("Animais inteligentes", em tradução livre), explora a evolução conjunta da humanidade e da tecnologia.

Texto e imagem reproduzidos do blog: otambosi blogspot com