Um ‘padrinho da IA’ pede por uma organização para defender a humanidade
Um padrinho da IA clama por uma instituição de defesa da humanidade
Este artigo foi sindicado do Bulletin of the Atomic Scientists, que tem coberto ameaças humanas à humanidade desde 1945.
A principal artéria da Little Italy de Montreal está repleta de cafés, bares de vinho e pastelarias que se espalham pelas ruas residenciais alinhadas com árvores. Gerações de agricultores, açougueiros, padeiros e peixeiros vendem produtos da fazenda à mesa no amplo mercado ao ar livre do bairro, o Marché Jean-Talon. Mas a tranquila enclave também abriga um moderno hub global de IA, conhecido como Mila – Instituto de IA do Quebec, com uma área de 90.000 pés quadrados. A Mila se orgulha de abrigar a maior concentração de pesquisadores acadêmicos de deep learning do mundo, incluindo mais de 1.000 pesquisadores e mais de 100 professores que trabalham com mais de 100 parceiros do setor de todo o mundo.
Yoshua Bengio, diretor científico da Mila, é pioneiro em redes neurais artificiais e deep learning – uma abordagem de aprendizado de máquina inspirada no cérebro. Em 2018, Bengio, o cientista-chefe de IA da Meta, Yann LeCun, e o ex-pesquisador de IA do Google Geoffrey Hinton receberam o Prêmio Turing – conhecido como o Nobel da computação – por “avanços conceituais e de engenharia que tornaram as redes neurais deep um componente essencial da computação”. Juntos, os três cientistas da computação são conhecidos como os “padrinhos da IA”.
Em julho, Bengio falou em uma subcomissão do Senado dos EUA que está considerando uma possível legislação para regular a tecnologia em rápida evolução. Lá, ele explicou que ele e outros principais pesquisadores de IA revisaram suas estimativas sobre quando a inteligência artificial pode atingir níveis humanos de competência cognitiva ampla.
“Anteriormente pensado para estar a décadas ou até séculos de distância, agora acreditamos que pode estar dentro de alguns anos ou décadas”, disse Bengio aos senadores. “O prazo mais curto, digamos, cinco anos, é realmente preocupante, porque precisaremos de mais tempo para mitigar efetivamente as potenciais ameaças significativas para a democracia, segurança nacional e nosso futuro coletivo.”
- O próximo flagship da Xiaomi virá com um novo sistema operacional c...
- Plano de IA da cidade de Nova York Estas são as principais conclusões.
- A Caça de Emprego é um Sacrifício. Este Programador Preencheu 250 C...
No mês passado, em um dia em que as temperaturas em Montreal ultrapassaram 32 graus Celsius, Bengio e eu nos sentamos em seu escritório para discutir sutilezas em manchetes chamativas sobre IA, tabus entre pesquisadores de IA e por que os principais pesquisadores de IA podem discordar sobre os riscos que a IA representa para a humanidade. Esta entrevista foi editada e resumida para maior clareza.
Susan D’Agostino: Um titular da BBC em maio deste ano declarou que você se sentia “perdido“. Mas você escreveu em seu blog que você nunca fez essa declaração. Ainda assim, parece que você está refletindo profundamente. Como você caracterizaria o que está passando?
Yoshua Bengio: Eu disse algo relacionado a isso, mas a sutileza foi perdida.
Eu experimentei uma mudança intensa durante o inverno na maneira como eu estava percebendo meu próprio trabalho, seu propósito e minhas prioridades. O que tentei expressar na entrevista da BBC e depois com o meu blog depois é isso: Não é que eu esteja perdido. Estou questionando e percebendo que talvez eu não tenha prestado atenção em algo importante, de uma maneira que não é apenas intelectual, mas também emocional.
Lendo alguns trabalhos sobre risco existencial há pelo menos uma década. Alunos aqui no meu grupo e nas proximidades falavam sobre isso. Em um nível técnico, levei muito a sério o livro de Stuart Russell [Human Compatible: Inteligência Artificial e o Problema de Controle] que foi lançado em 2019.
No inverno, ficou claro para mim que a natureza de uso duplo da IA e o potencial de perda de controle eram muito sérios.
Mas eu não levei isso a sério, falando emocionalmente. Eu estava pensando: “Ah sim, isso é algo que as pessoas deveriam olhar”. Mas eu estava realmente pensando: “Isso está longe no futuro”. Eu poderia continuar no meu caminho porque o que estou fazendo será útil e cientificamente importante. Queremos entender a inteligência em humanos e animais e construir máquinas que possam nos ajudar a enfrentar todos os tipos de desafios importantes e difíceis. Então, eu continuei sem mudar nada na maneira como estava trabalhando.
Mas durante o inverno, percebi que a natureza de uso duplo e o potencial de perda de controle eram muito sérios. Poderia acontecer muito mais cedo do que eu tinha projetado. Eu não podia continuar ignorando isso. Eu tive que mudar o que eu estava fazendo. Além disso, eu tinha que falar sobre isso porque pouquíssimas pessoas – mesmo na comunidade de IA – levaram essas questões a sério até os últimos meses. Em particular, eu, Geoffrey Hinton e algumas outras pessoas fomos ouvidos mais do que aquelas pessoas que estavam falando sobre isso e perceberam a importância desses riscos muito antes do que nós.
Aqui há um aspecto psicológico. Você constrói sua identidade ou o significado de sua vida de uma determinada forma. Então alguém lhe diz, ou você percebe racionalmente, que a maneira como você se retratou não é verdadeira em relação à realidade. Há algo muito importante que você está ignorando. Eu entendo por que é muito difícil para muitos dos meus colegas primeiro aceitar algo assim para si mesmos e depois ter coragem de falar sobre algo [as potenciais ameaças catastróficas da IA] que essencialmente tem sido tabu em nossa comunidade por sempre.
É difícil. As pessoas percorrem esse caminho em diferentes momentos ou em diferentes ritmos. Está tudo bem. Eu tenho muito respeito pelos meus colegas que não veem as coisas da mesma forma que eu. Eu estava no mesmo lugar um ano atrás.
Como essa proibição se manifestou na comunidade de pesquisa de IA no passado – ou mesmo hoje?
As pessoas que falavam sobre risco existencial essencialmente não publicavam em locais científicos convencionais. Funcionava de duas maneiras. Eles encontraram resistência ao tentar falar ou enviar artigos. Mas também, eles em sua maioria viraram as costas para as principais publicações científicas em sua área.
O que aconteceu nos últimos seis meses está quebrando essa barreira.
Sua evolução coincidiu com o aumento da conscientização pública sobre modelos de linguagem grandes, provocado pelo lançamento do ChatGPT da OpenAI no final de 2022. Inicialmente, muitos no público ficaram impressionados, até mesmo intimidados pelo ChatGPT. Mas agora, alguns estão desinteressados. O Atlantic publicou uma matéria: “ChatGPT Is Dumber Than You Think.” Em um debate presidencial republicano dos EUA recente, Chris Christie disse a Vivek Ramaswamy que ele “já havia tido o bastante esta noite de um cara que soa como o ChatGPT.”
A timing de sua percepção foi influenciada pelo lançamento do ChatGPT? De qualquer forma, você agora vê o ChatGPT como uma piada?
Minha trajetória foi oposta ao que você está descrevendo. Eu quero entender e preencher a lacuna entre a IA atual e a inteligência humana. O que está faltando no ChatGPT? Onde ele falha? Eu tentei fazer perguntas que o fizessem fazer algo estúpido, como muitos dos meus colegas nos meses que se seguiram ao lançamento do ChatGPT.
Em meus dois primeiros meses brincando com ele, eu estava principalmente confortado em minhas crenças de que ainda faltava algo fundamental. Eu não estava preocupado. Mas depois de brincar o suficiente com ele, percebi que era um avanço surpreendentemente impressionante. Estamos avançando muito mais rápido do que eu antecipei. Tenho a impressão de que pode não ser necessário muito para corrigir o que está faltando.
Todo mês eu estava desenvolvendo uma nova ideia que poderia ser a chave para quebrar essa barreira. Isso não aconteceu, mas pode acontecer rapidamente – talvez não com o meu grupo, mas talvez com outro grupo. Talvez leve 10 anos. Com a pesquisa, pode parecer que você está muito perto, mas pode haver algum obstáculo que você não considerou.
Se combinarmos o que eu estava trabalhando em relação à capacidade de representar distribuições de probabilidade incrivelmente complexas, que é sobre isso que se trata, e a capacidade de aprender e usar uma quantidade incrível de informações de maneiras mais racionais, então podemos estar bem perto. A capacidade de usar informações de maneiras intuitivas corresponde ao que eu e outros chamamos de habilidades do Sistema 1. A pequena camada fina que está faltando, conhecida como habilidades do Sistema 2, são habilidades de raciocínio.
Comecei a pensar, e se, dentro de um ano, conseguirmos preencher essa lacuna e depois escalá-la? O que vai acontecer?
O que você fez quando percebeu isso?
No final de março, antes da primeira carta do [Future of Life Institute] ser publicada [pedindo que os laboratórios de IA interrompam imediatamente experimentos gigantes de IA], entrei em contato com Geoff [Hinton]. Tentei convencê-lo a assinar a carta. Fiquei surpreso ao ver que chegamos independentemente à mesma conclusão.
Isso me lembra quando Isaac Newton e Gottfried Leibniz descobriram o cálculo de forma independente e ao mesmo tempo. O momento estava propício para uma descoberta múltipla e independente?
Não se esqueça, nós já tínhamos percebido algo que outros já haviam descoberto.
Além disso, Geoff argumentou que as tecnologias de computação digital têm vantagens fundamentais em relação aos cérebros. Em outras palavras, mesmo que descubramos apenas os princípios que são suficientes para explicar a maior parte da nossa inteligência e coloquemos isso em máquinas, as máquinas automaticamente seriam mais inteligentes do que nós por causa de coisas técnicas como a capacidade de ler grandes quantidades de texto e integrar isso muito mais rápido do que um humano poderia, como dezenas de milhares ou milhões de vezes mais rápido.
Se quisermos diminuir essa diferença, teremos máquinas mais inteligentes do que nós. O quanto isso significa na prática? Ninguém sabe. Mas você pode facilmente imaginar que eles seriam melhores do que nós em coisas como programar, lançar ataques cibernéticos ou projetar coisas que biólogos ou químicos projetam manualmente.
Eu tenho trabalhado nos últimos três anos em aprendizado de máquina para ciência, especialmente aplicado à química e biologia. O objetivo era ajudar a projetar medicamentos e materiais melhores, respectivamente, para combater pandemias e mudanças climáticas. Mas as mesmas técnicas poderiam ser usadas para projetar algo letal. Essa percepção foi se acumulando lentamente, e eu assinei a carta.
Suas observações chamaram bastante atenção, inclusive o artigo da BBC. Como você se saiu?
A mídia me obrigou a articular todos esses pensamentos. Isso foi bom. Mais recentemente, nos últimos meses, tenho pensado mais sobre o que devemos fazer em termos de políticas. Como mitigamos os riscos? Também tenho pensado em contramedidas.
Sou uma pessoa positiva. Não sou um pessimista como as pessoas podem me chamar. Estou pensando em soluções.
Alguns podem dizer: “Ah, Yoshua está tentando assustar.” Mas sou uma pessoa positiva. Não sou um pessimista como as pessoas podem me chamar. Há um problema, e estou pensando em soluções. Quero discuti-las com outras pessoas que possam contribuir. A pesquisa para melhorar as capacidades da IA está avançando rapidamente porque agora há muito, mas muito mais dinheiro investido nisso. Significa que mitigar os maiores riscos é urgente.
Foto-ilustração: James Marshall; Getty Images
Temos regulamentações e tratados internacionais para riscos nucleares, mas, por exemplo, a Coreia do Norte não está na mesa de negociação. Será que podemos realmente conter o risco que a IA representa?
Dependendo de quão cautelosos formos coletivamente, podemos conter mais ou menos os riscos com regulamentações nacionais e tratados internacionais. É importante, assim como para os tratados nucleares, ter padrões mínimos entre as nações. Os danos que a IA pode causar não são limitados pelas fronteiras nacionais.
Não há garantia de 100% de que nada de ruim acontecerá. Mesmo que tivéssemos um tratado internacional que proibisse IA mais poderosa do que certo nível, alguém desrespeitaria essas restrições. Mas atrasar isso em, digamos, 10 anos seria ótimo. Nesse tempo, poderíamos melhorar nossa monitoração. Poderíamos aprimorar nossas defesas. Poderíamos entender melhor os riscos.
Atualmente, é preciso muito dinheiro e hardware especializado para construir. No momento, você não pode comprar hardware como GPUs [unidades de processamento gráfico] em grandes quantidades sem ser notado, mas os governos não estão rastreando quem está comprando o quê. Eles poderiam começar a fazer isso. Os Estados Unidos já têm o controle de exportação dessas coisas, o que prejudica a China e a Coreia do Norte se elas quiserem participar dessa corrida.
Temos discutido sobre o perigo das armas nucleares e as mudanças climáticas – há outro perigo que tem uma magnitude de risco semelhante.
O tempo é essencial, e a regulamentação pode reduzir as probabilidades de catástrofes ou, equivalentemente, adiar o momento em que algo realmente ruim vai acontecer. Ou minimizar a amplitude do que pode acontecer.
Infelizmente, o lançamento das bombas em Hiroshima e Nagasaki realmente é a razão pela qual os governos se sentaram à mesa e estavam dispostos a discutir, apesar da Guerra Fria. Espero que não precisemos ter esse nível de catástrofe antes de agirmos. Mas pode chegar a isso.
O público gosta de falar sobre inteligência artificial geral. Você acha que isso pode acontecer da noite para o dia? Ou há um continuum?
Existe um continuum. Com certeza. Eu costumava não gostar desse termo porque acho que uma inteligência completamente geral não pode existir do jeito que foi definido há 20 anos. Mas agora a forma como as pessoas entendem e a mídia usa só significa “um sistema de IA que é bom em muitas coisas”.
A partir da perspectiva do dano, não importa se é melhor do que nós em tudo. Talvez haja algum jogo em que ganhemos. Se são melhores do que nós em coisas que poderiam nos prejudicar, quem se importa [com um jogo que poderíamos vencer]? O que importa são suas habilidades em áreas que poderiam causar prejuízo. Isso é o que devemos nos preocupar – não alguma definição sobre “Oh, temos IAAG”. Poderia ser perigoso mesmo agora se o projetarmos com objetivos maliciosos em mente.
Existe um potencial interação entre IA e mudanças climáticas que traz riscos?
A IA deveria ajudar principalmente nas mudanças climáticas. Não vejo a IA usando as mudanças climáticas como arma, a menos que tenhamos uma situação de perda de controle. Nesse caso, alterar o clima poderia ser uma maneira [para a IA] de acelerar nossa destruição ou causar estragos na sociedade.
Mas como uma máquina poderia mudar o clima?
Essa é uma pergunta importante. Muitas pessoas estão respondendo às preocupações [sobre os riscos da IA] dizendo: “Como um computador poderia fazer qualquer coisa no mundo real? É tudo virtual. Entendemos os ciberataques porque está tudo na máquina”.
Mas é muito simples. Existem muitas maneiras pelas quais coisas que acontecem em computadores podem nos afetar. Em primeiro lugar, grande parte de nossa infraestrutura econômica depende de computadores – nossas comunicações, nossas cadeias de suprimentos, nossa energia, nossa eletricidade e transporte. Imagine se muitas dessas coisas falhassem devido a ciberataques. Isso pode não destruir todos, mas pode levar a sociedade a um caos tal que a quantidade de sofrimento poderia ser enorme.
Também é plausible que, dada a progressão na manipulação e compreensão da linguagem com sistemas de IA, poderíamos ter sistemas de IA em poucos anos que poderiam influenciar os humanos. Eles poderiam nos convencer a fazer coisas por eles.
Pense nos teóricos da conspiração. Um sistema de IA poderia estar solto na Internet. Lá, ele poderia começar a brincar com as pessoas nas redes sociais para tentar ver qual diálogo teria sucesso em mudar a mente das pessoas sobre algo. Isso poderia nos levar a realizar algumas pequenas ações que, juntamente com outras ações, poderiam levar a um resultado catastrófico. Isso é plausível.
É claro que talvez isso não aconteça. Talvez tenhamos defesas suficientes e talvez os humanos sejam difíceis de convencer. Mas tudo o que tenho visto nos últimos anos com teorias da conspiração me faz pensar que somos muito influenciáveis. Talvez nem todos sejam, mas não é necessário que todos sejam. Seria suficiente ter pessoas suficientes ou pessoas suficientes no poder para fazer a diferença e criar resultados catastróficos. Portanto, os humanos poderiam fazer o trabalho sujo.
Então, a ignorância humana é uma fraqueza. Estamos potencialmente vulneráveis à IA de outras formas?
Aqui está outra ameaça, ainda mais simples, que nem mesmo requer quase tanto acreditar em coisas que não existem no momento. Um sistema de IA poderia subornar pessoas para fazer um trabalho. Organizações criminosas fazem coisas que você pede a elas em troca de dinheiro, e elas não perguntam de onde vem o dinheiro. Ainda é bastante fácil agora para uma pessoa ou uma máquina ter operações por meio de computadores e acessar a dark web.
Se olharmos pelo menos cinco anos à frente, é também plausível que descubramos a robótica. Agora, temos máquinas que são boas em visão. Também temos máquinas que são boas em linguagem. A terceira parte de um robô é o controle – ter um corpo que você pode controlar para alcançar objetivos. Há muitas pesquisas em aprendizado de máquina para robótica, mas ainda não tivemos o momento de grande avanço como tivemos para linguagem e visão na última década. Mas isso pode acontecer mais cedo do que pensamos.
Qual é o obstáculo para ter um momento de grande avanço na robótica?
[Na robótica], não temos a quantidade de dados que temos, por exemplo, para linguagem e imagens. Não temos um implantação de 100 milhões de robôs que poderiam coletar quantidades enormes de dados como podemos fazer com texto. Mesmo entre culturas, o texto funciona. Você pode misturar texto de diferentes idiomas e aproveitar a união de todos eles. Isso ainda não foi feito para robótica. Mas alguém com dinheiro suficiente poderia fazê-lo nos próximos anos. Se for esse o caso, então a IA teria operações em campo.
No momento, um sistema de IA que se tornou rebelde e autônomo ainda precisaria de humanos para obter eletricidade e peças. Ele precisaria de uma sociedade humana funcional agora. Mas isso pode mudar dentro de uma década. É possível o suficiente para não contarmos com isso para nos proteger.
Fale-me sobre suas preocupações com o potencial interação entre IA e risco nuclear ou biosegurança?
Nós queremos realmente evitar facilitar para um sistema de IA controlar o lançamento de armas nucleares. IA no campo militar é extremamente perigoso, até existencial. Precisamos acelerar o esforço internacional para proibir armas autônomas letais.
Em geral, devemos manter IA longe de qualquer coisa que possa causar danos rapidamente. Segurança biológica provavelmente é ainda mais perigosa do que o perigo nuclear associado à IA. Muitas empresas receberão um arquivo que você enviar especificando uma sequência de DNA e então programarão algumas bactérias, leveduras ou vírus que terão essas sequências em seu código e gerarão as proteínas correspondentes. É muito barato. É rápido. Normalmente, isso é feito para o bem—para criar novos medicamentos, por exemplo. Mas as empresas que estão fazendo isso podem não ter os meios técnicos para saber que a sequência que você lhes enviou poderia ser usada de forma maliciosa.
Precisamos de especialistas em IA e em biotecnologia para trabalhar nesse regulamento e minimizar esses riscos. Se você é uma empresa farmacêutica estabelecida, ótimo. Mas alguém em sua garagem não deveria ser capaz de criar novas espécies.
Qual sentido você extrai das discordâncias pronunciadas entre você e outros principais pesquisadores de IA—incluindo seu colega agraciado com o Prêmio Turing, Yann LeCun, que não assinou a carta do Future of Life Institute—sobre os perigos potenciais da IA?
Gostaria de entender melhor porque pessoas que têm valores, racionalidade e experiência principalmente alinhados chegam a conclusões tão diferentes.
Talvez fatores psicológicos estejam em jogo. Talvez dependa de onde você está vindo. Se você trabalha para uma empresa que está vendendo a ideia de que a IA será boa, pode ser mais difícil mudar de ideia como eu fiz. Há uma boa razão pela qual Geoff saiu do Google antes de falar. Talvez os fatores psicológicos nem sempre sejam conscientes. Muitas dessas pessoas agem de boa fé e são sinceras.
Também, para pensar sobre esses problemas, você precisa entrar em um modo de pensar que muitos cientistas tentam evitar. Cientistas na minha área e em outras áreas gostam de expressar conclusões publicamente que são baseadas em evidências sólidas. Você faz um experimento. Você o repete 10 vezes. Você tem confiança estatística porque é repetido. Aqui estamos falando de coisas muito mais incertas, e não podemos experimentar. Não temos um histórico de 10 vezes no passado em que sistemas de IA perigosos surgiram. A postura de dizer: “Bem, está fora da zona onde posso me sentir confiante para dizer algo”, é muito natural e fácil. Eu entendo.
Mas as apostas são tão altas que temos o dever de olhar para o futuro incerto. Precisamos considerar cenários potenciais e pensar sobre o que pode ser feito. Pesquisadores de outras disciplinas, como ciência ética ou ciências sociais, fazem isso quando não podem fazer experimentos. Temos que tomar decisões mesmo que não tenhamos modelos matemáticos de como as coisas se desdobrarão. É desconfortável para os cientistas ir a esse lugar. Mas porque sabemos coisas que os outros não sabem, temos o dever de ir lá, mesmo que seja desconfortável.
Além daqueles que têm opiniões diferentes, há uma grande maioria silenciosa de pesquisadores que, por causa dessa incerteza, não se sentem suficientemente confiantes para tomar uma posição de um jeito ou de outro.
Como seus colegas na Mila reagiram à sua reflexão sobre o trabalho de sua vida?
A reação mais frequente aqui na Mila foi de pessoas que estavam principalmente preocupadas com os danos atuais da IA—questões relacionadas à discriminação e aos direitos humanos. Elas tinham medo de que falar sobre esses riscos futuros, que parecem saídos de ficção científica, desviasse a discussão sobre a injustiça que está acontecendo—a concentração de poder e a falta de diversidade e de voz para minorias ou pessoas em outros países que estão do lado receptor do que quer que façamos.
Eu estou totalmente com eles, exceto que não é uma coisa ou outra. Temos que lidar com todos os problemas. Houve progresso nessa frente. As pessoas entendem que é irracional descartar os riscos existenciais ou, como prefiro chamar, riscos catastróficos. [Os últimos] não significa que os humanos desapareceram, mas que muitos sofrimentos podem ocorrer.
Mudanças climáticas são mais fáceis. Com a IA, você precisa garantir que ninguém fará algo perigoso.
Também há outras vozes—em grande parte provenientes da indústria—que dizem: “Não se preocupem! Deixem conosco! Nós nos autoregularemos e protegeremos o público!” Essa voz muito forte tem muita influência sobre os governos.
Pessoas que sentem que a humanidade tem algo a perder não deveriam estar brigando entre si. Elas deveriam falar a uma só voz para fazer os governos agirem. Assim como tivemos discussões públicas sobre o perigo das armas nucleares e das mudanças climáticas, o público precisa se conscientizar de que há outro perigo que tem magnitude similar de riscos potenciais.
Quando você pensa sobre o potencial da inteligência artificial ameaçar a humanidade, em que ponto você se situa em uma escala de desespero para esperança?
Qual é a palavra certa? Em francês, é impuissant. É uma sensação de que há um problema, mas não consigo resolvê-lo. É pior do que isso, pois acredito que seja solucionável. Se todos concordarmos com um protocolo específico, poderíamos evitar completamente o problema.
A mudança climática é parecida. Se todos decidirmos agir corretamente, poderíamos resolver o problema agora mesmo. Haveria custos, mas poderíamos fazê-lo. É a mesma coisa com a IA. Há coisas que poderíamos fazer. Poderíamos decidir não construir coisas que não sabemos com certeza que são seguras. É muito simples.
Porém, isso vai contra a forma como nossa economia e nossos sistemas políticos estão organizados. Parece muito difícil alcançar isso até que algo catastrófico aconteça. Então talvez as pessoas levem isso mais a sério. Mas mesmo assim, é difícil, porque é preciso convencer a todos a se comportarem corretamente.
A mudança climática é mais fácil. Se conseguirmos convencer apenas 99% dos humanos a agir bem, está tudo bem. Com a IA, é preciso garantir que ninguém faça algo perigoso.
“Impotente”, eu acho, é a tradução de impuissant.
Não sou completamente impotente, pois posso falar e tentar convencer os outros a seguir na direção certa. Há coisas que podemos fazer para reduzir esses riscos.
A regulamentação não é perfeita, mas pode desacelerar as coisas. Por exemplo, se o número de pessoas autorizadas a manipular sistemas de IA potencialmente perigosos for reduzido a algumas centenas no mundo, poderíamos reduzir os riscos em mais de 1.000 vezes. Isso vale a pena fazer e não é tão difícil. Não permitimos que qualquer pessoa pilote um avião de passageiros. Regulamos a aviação e isso reduz muito a taxa de acidentes.
Mesmo se encontrarmos maneiras de construir sistemas de IA que sejam seguros, eles ainda podem não ser seguros do ponto de vista de preservar a democracia. Ainda podem ser muito poderosos, e o poder corrompe as pessoas. Então, poderíamos perder a democracia.
Como você passa da existência de um sistema de IA seguro, mas poderoso, para a perda da democracia?
Por exemplo, isso poderia começar com a dominação econômica. Não estou dizendo que as empresas não possam fazer coisas úteis, mas sua missão é dominar os outros e ganhar dinheiro.
Se uma empresa avançar mais rápido com a IA em determinado momento, ela poderia assumir o controle economicamente. Ela oferece tudo muito melhor e mais barato do que qualquer outra pessoa. Então, usa seu poder para controlar a política, porque é assim que nosso sistema funciona. Nesse caminho, podemos acabar com uma ditadura de governo mundial.
Não se trata apenas de regulamentar o uso da IA e de quem tem acesso a ela. Precisamos nos preparar para o dia em que haverá um abuso desse poder por parte das pessoas ou de um sistema de IA, se perdemos o controle e ele tiver seus próprios objetivos.
Você tem uma sugestão de como podemos nos preparar melhor?
No futuro, precisaremos de uma organização de defesa da humanidade. Temos organizações de defesa em cada país. Precisaremos organizar internacionalmente uma forma de nos protegermos contra eventos que poderiam nos destruir.
É uma visão de longo prazo e levaria muito tempo para que vários países concordassem com os investimentos corretos. Mas por enquanto, todos os investimentos estão acontecendo no setor privado. Não há nada sendo feito com objetivo de bem público que possa defender a humanidade.
