O crítico de IA, Gary Marcus LeCun da Meta finalmente está aceitando as coisas que eu disse anos atrás.

Gary Marcus LeCun, the AI critic from Meta, finally accepts what I said years ago.

O professor emérito da NYU, Gary Marcus, um crítico frequente da histeria em torno da inteligência artificial, recentemente sentou-se com a ENBLE para oferecer uma refutação aos comentários de Yann LeCun, cientista-chefe de IA da Meta, em uma entrevista com a ENBLE em setembro.

LeCun havia duvidado do argumento de Marcus em favor da manipulação de símbolos como um caminho para uma IA mais sofisticada. LeCun também observou que Marcus não tinha artigos revisados por pares em revistas de IA.

Marcus, de fato, publicou artigos revisados por pares, uma lista dos quais aparece no contexto da entrevista abaixo. Mas a refutação de Marcus lida mais substancialmente com a divisão entre os dois, que têm se enfrentado nas mídias sociais há anos.

• Meta’s Data2vec 2.0 Segunda vez é mais rápido
• O enorme opus de tradução multilíngue da Meta ainda tropeça no greg...
• Cientistas da Alexa da Amazon demonstram que um AI maior nem sempre...

Marcus afirma que LeCun não realmente se envolveu com as ideias de Marcus, simplesmente as descartando. Ele argumenta, também, que LeCun não deu a outros estudiosos uma audição justa, como Judea Pearl, cujas visões sobre IA e causalidade formam um notável corpo de trabalho.

Marcus argumenta que o comportamento de LeCun faz parte de um padrão de pesquisadores de aprendizado profundo que descartam colegas de fora do aprendizado profundo que expressam críticas ou pressionam por outras vias de pesquisa.

“Você tem algumas pessoas que têm muito dinheiro e muito reconhecimento, que estão tentando excluir outras pessoas”, disse Marcus sobre LeCun e outros estudiosos de aprendizado profundo. Eles estão, segundo ele, pegando emprestado um termo da linguista computacional Emily Bender, “sugando o oxigênio da sala” ao não se envolverem com ideias concorrentes.

A divisão entre Marcus e LeCun, na visão de Marcus, é estranha, dado que Marcus sustenta que LeCun finalmente passou a concordar com muitas críticas que Marcus fez há anos.

“Basicamente, parecia que ele estava dizendo que todas as coisas que eu havia dito, as quais ele havia dito que estavam erradas, eram a verdade”, disse Marcus. Marcus expressou suas fortes opiniões sobre o aprendizado profundo tanto em livros, sendo o mais recente “Rebooting AI” de 2019, com Ernie Davis, embora haja elementos em uma obra muito anterior, “The Algebraic Mind”, e em inúmeros artigos, incluindo sua crítica mais extensa, em 2018, “Deep Learning: A Critical Appraisal”.

De fato, os pontos em comum entre os dois estudiosos são tais que, “Em um mundo diferente, LeCun e eu seríamos aliados”, disse Marcus.

Também: Guru de IA da Meta LeCun: A maioria das abordagens de IA atuais nunca levará a uma verdadeira inteligência

“O ponto número um em que LeCun e eu estamos alinhados é que a escala sozinha não é suficiente”, disse Marcus, o que significa que fazer versões cada vez maiores de redes neurais como o GPT-3 não levará, por si só, ao tipo de inteligência que importa.

Também existem desacordos fundamentais entre os dois estudiosos. Marcus, desde “The Algebraic Mind”, argumenta apaixonadamente pelo que ele chama de “innateness”, algo que é ENBLE na mente para dar estrutura à inteligência.

“Minha visão é que, se você olhar para a biologia, somos apenas uma enorme mistura de estrutura inata”, disse Marcus. LeCun, segundo ele, gostaria que tudo fosse aprendido.

“A grande ironia é que a maior contribuição de LeCun para a IA é a prioridade inata da convolução, que algumas pessoas chamam de invariância de tradução”, disse Marcus, aludindo às redes neurais convolucionais.

A única coisa que é maior do que qualquer pesquisador e maior do que a disputa entre eles é que a IA está em um impasse, sem uma direção clara para alcançar o tipo de inteligência com o qual o campo sempre sonhou.

“Há um espaço de possíveis arquiteturas para a IA”, disse Marcus. “A maioria do que estudamos está em um cantinho desse espaço; esse cantinho do espaço não está funcionando muito bem. A questão é: como saímos desse cantinho e começamos a olhar para outros lugares?”

A seguir, está uma transcrição da entrevista editada por questões de tamanho.

Se você quiser conferir os escritos atuais de Marcus sobre IA, confira seu Substack.

ENBLE: Esta conversa é uma resposta à recente entrevista da ENBLE com Yann LeCun, da Meta, na qual você foi mencionado. Então, em primeiro lugar, o que é importante mencionar sobre aquela entrevista com LeCun?

Gary Marcus: LeCun tem me criticado bastante ultimamente, na entrevista da ENBLE, em um artigo na Noema e no Twitter e Facebook, mas ainda não sei o quanto LeCun realmente leu do que eu disse. E acho que parte da tensão aqui é que ele às vezes critica meu trabalho sem lê-lo, apenas com base em coisas como títulos. Eu escrevi este artigo em 2018, “Deep Learning: Uma Avaliação Crítica”, e ele o criticou publicamente assim que teve a chance no Twitter. Ele disse que estava “em grande parte errado”. E eu tentei questioná-lo sobre o que estava errado. Ele nunca disse.

Inteligência Artificial

• 7 dicas avançadas de escrita de prompts para o ChatGPT que você precisa saber
• Os 10 melhores plugins do ChatGPT de 2023 (e como aproveitá-los ao máximo)
• Testei muitas ferramentas de IA para o trabalho. Estas são as minhas 5 favoritas até agora
• Humano ou robô? Este jogo de teste de Turing testa suas habilidades de identificação de IA

Acredito que ele pense que aquele artigo diz que devemos abandonar o deep learning. E eu o corrigi várias vezes sobre isso. Ele cometeu novamente esse erro [na entrevista da ENBLE]. Se você realmente ler o artigo, verá que o que ele diz é que eu acredito que o deep learning é apenas uma ferramenta entre muitas, e que precisamos de outras coisas também.

Enfim, ele atacou esse artigo anteriormente, e ele é um cara importante. Naquela época [2018], ele estava liderando a IA do Facebook. Agora ele é o cientista-chefe de IA do Facebook e vice-presidente lá. Ele é um ganhador do Prêmio Turing. Então, suas palavras têm peso. E quando ele ataca alguém, as pessoas seguem o exemplo.

Claro, não precisamos ler todos os artigos uns dos outros, mas não devemos dizer que eles estão em grande parte errados a menos que os tenhamos lido. Isso não é justo. E para mim, pareceu um abuso de poder. E então fiquei realmente surpreso com a entrevista que você fez com ele, porque parecia que ele estava argumentando a favor de todas as coisas que eu havia colocado naquele artigo que ele ridicularizou: Não vamos chegar lá completamente, pelo menos com as técnicas atuais de deep learning. Havia muitos outros pontos de sobreposição, de certa forma, que basicamente parecia que ele estava dizendo que todas as coisas que eu havia dito, que ele havia dito que estavam erradas, eram a verdade.

E isso seria, de certa forma, irritante para mim – nenhum acadêmico gosta de não ser citado – mas então ele me atacou e disse que eu nunca publiquei nada em um periódico de IA revisado por pares. O que não é verdade. Ele não deve ter verificado isso. Tenho medo de que você também não tenha verificado. Você gentilmente corrigiu.

ENBLE: Peço desculpas por não ter verificado isso.

[Marcus aponta vários artigos revisados por pares em periódicos de IA: Raciocínio do senso comum sobre contêineres usando informações radicalmente incompletas em Inteligência Artificial; Raciocínio a partir de informações radicalmente incompletas: o caso dos contêineres em Avanços em Sistemas Cognitivos; O escopo e os limites da simulação no raciocínio automatizado em Inteligência Artificial; Raciocínio do senso comum e conhecimento do senso comum em Comunicações da ACM; Repensando o connectionismo eliminativo, Cog Psy]

GM: Essas coisas acontecem. Quero dizer, parte disso é como uma autoridade diz algo e você simplesmente acredita. Certo. Quero dizer, ele é o Yann LeCun.

ENBLE: Deveria ser verificado. Concordo com você.

GM: De qualquer forma. Ele disse isso. Eu o corrigi. Ele nunca pediu desculpas publicamente. Então, o que vi ali, a combinação de basicamente dizer as mesmas coisas que venho dizendo há algum tempo e me atacar, faz parte de um esforço de reposicionamento. E eu realmente apresento o caso disso neste artigo do Substack: “Quão Novas São as ‘Novas’ Ideias de Yann LeCun?”

E o caso que eu fiz lá é que ele está, na verdade, tentando reescrever a história. Eu dei vários exemplos; como eles dizem hoje em dia, eu trouxe provas. As pessoas curiosas podem ir ler. Eu não quero repetir todos os argumentos aqui, mas vejo isso em várias dimensões. Agora, algumas pessoas viram isso e pensaram: “Will LeCun será punido por isso?” E, é claro, a resposta é não, ele não será. Ele é poderoso. Pessoas poderosas nunca são punidas por coisas, ou raramente.

Também: Resistindo à vontade de ficar impressionado; sobre o que falamos quando falamos de IA

Mas há um conjunto mais profundo de pontos. Sabe, além de estar pessoalmente irritado e chocado, não estou sozinho. Eu dei um exemplo [no artigo do Substack] de [Jürgen] Schmidhuber [professor adjunto no Instituto Dalle Molle de Inteligência Artificial IDSIA] sentindo a mesma coisa. Surgiu na semana seguinte que Judea Pearl, também ganhador do Prêmio Turing como Yann, também sente que seu trabalho não foi mencionado pela comunidade principal de aprendizado de máquina. Pearl disse isso de forma bastante contundente, dizendo: “LeCun foi cruel com Marcus, mas nem se deu ao trabalho de me mencionar”, é mais ou menos isso que Pearl disse. E isso é bastante condenatório, um ganhador do Prêmio Turing não citar o outro.

LeCun está pensando em causalidade, e todos nós sabemos que o líder em causalidade é Pearl. Isso não significa que Pearl tenha resolvido todos os problemas, mas ele contribuiu mais para chamar a atenção para a importância da aprendizagem de máquina do que qualquer outro. Ele contribuiu mais, de certa forma, com maquinaria formal para isso. Não acho que ele tenha resolvido esse problema, mas ele abriu esse problema. [Para LeCun] dizer que vai construir modelos do mundo, bem, modelos do mundo são sobre entender a causalidade, e negligenciar Pearl é chocante.

E isso faz parte de um estilo de “Não inventado aqui”. Agora, uma ironia é que acredito que provavelmente tudo o que LeCun disse em sua entrevista — não as coisas sobre mim, mas sobre esse tipo de estado do campo — ele provavelmente chegou por conta própria. Não acredito que ele tenha plagiado de mim. E eu digo isso no artigo [do Substack]. Mas por que esperar quatro anos para descobrir essas coisas quando seu vizinho da NYU pode ter algo a dizer.

Ele também teve uma grande briga com Timnit Gebru [ex-pesquisadora do Google e agora fundadora e diretora executiva do Instituto de Pesquisa em Inteligência Artificial Distribuída, DAIR] alguns anos atrás no Twitter — você pode procurar isso se quiser — a ponto de ele [LeCun] ter saído do Twitter. Ele intimidou Timnit. Ele, eu acho, minimiza as contribuições de Schmidhuber. Ele minimiza as de Pearl. Então, como muitas pessoas que querem defender a honra das formas como a aprendizagem de máquina é feita atualmente, ele meio que me demonizou. E você viu isso na [entrevista da ENBLE], ele me atacou diretamente.

Na minha opinião, tudo isso faz parte de algo maior, que é o fato de que algumas pessoas têm muito dinheiro e muito reconhecimento e estão tentando excluir outras pessoas. E eles não estão realmente reconhecendo a ironia disso porque eles mesmos foram excluídos até por volta de 2012. Então, eles tiveram ideias realmente boas, e essas ideias realmente boas não pareciam tão boas em 2010. Minha citação favorita sobre isso ainda pertence a Emily Bender. Ela disse que o problema com isso é que eles estão sugando o oxigênio da sala, estão dificultando para outras pessoas seguir outras abordagens e não estão se envolvendo com essas abordagens.

Há todo um campo de IA neuro-simbólica com o qual LeCun não está envolvido, às vezes criticando como incoerente; quando eu defendi isso em 2018, ele disse que estava “principalmente errado”. Mas ele nunca realmente se envolve com o trabalho. E isso não é apropriado para alguém de sua estatura fazer. Sabe, é bom para ele discordar e dizer: “Eu faria de outra maneira melhor ou essas premissas são falsas.” Mas ele não se envolve.

Havia um tweet maravilhoso […] sobre um tópico diferente feito por Mikell Taylor, que é uma roboticista, e ela disse que muitos desses fãs da Tesla estão basicamente dizendo: Bem, por que você não lida com isso? E o ponto dela era: Bem, ninguém pode fazer as coisas que a Tesla está prometendo agora. E ninguém pode fazer as coisas que o deep learning se propõe a fazer agora. A realidade é que essas coisas foram superestimadas.

Não temos, em 2022, a prontidão tecnológica para alimentar um robô doméstico capaz de entender o mundo. Ainda estamos falhando nos carros autônomos. Temos esses chat bots que às vezes são ótimos e às vezes absolutamente tolos. E minha visão é que é como se estivéssemos no K2, escalamos essa montanha incrível, mas descobrimos que é a montanha errada. Alguns de nós vêm apontando isso há um tempo, LeCun reconhece agora que não é a montanha correta.

Além disso: A OpenAI tem um chat bot inútil, e eu ainda tenho um emprego de escrita

O ponto de Taylor é que é legítimo criticar algo mesmo que você não tenha uma solução melhor. Às vezes, as soluções melhores simplesmente não estão disponíveis. Mas ainda é preciso entender o que deu errado agora. E LeCun quer ter os dois lados, porque ele também não tem a solução para esses problemas. Agora ele está dando palestras, dizendo que vê que o campo está uma bagunça. No mesmo dia em que essa entrevista foi publicada, ele deu uma palestra em que disse: Aprendizado de máquina é péssimo. Claro, se eu dissesse isso, as pessoas cortariam meus pneus, mas ele pode dizer porque é o LeCun.

Ele diz que o aprendizado de máquina é péssimo e então faz alguns ruídos vagos sobre como ele vai resolver isso. Um interessante artigo manifesto (“Um Caminho em Direção à Inteligência Artificial Autônoma”) que ele escreveu neste verão envolve vários módulos, incluindo um tipo de preditor configurável. O ponto é que [a nova abordagem de LeCun] também não é realmente uma teoria implementada. Não é como se LeCun pudesse ir para casa e dizer: “Todas essas coisas com as quais Marcus se preocupava, e com as quais eu agora estou preocupado, são resolvidas com isso.” Tudo o que ele pode dizer é: “Tenho um instinto de que podemos seguir por esse caminho.”

Acho que há algo em dizer que precisamos de modelos mais ricos do mundo. De fato, é o que venho dizendo há anos. Por exemplo, um dos artigos revisados por pares que tenho em revistas de IA é um modelo de como entender o que acontece em um recipiente, o que é algo muito interessante porque grande parte do que fazemos no mundo lida com recipientes.

Então, na minha mesa agora, tenho um recipiente que guarda canetas e lápis e coisas assim, e tenho outro que tem um copo de água. Eu sei coisas sobre eles, como, se eu tirar algo, não estará mais no recipiente. Se eu virar o recipiente, tudo vai cair. Podemos fazer todo tipo de raciocínio físico sobre recipientes. Sabemos que se tivéssemos uma xícara de café com buracos, e eu derramasse o café, ele iria derramar.

Ernie Davis, que é colega de LeCun na NYU, e eu escrevemos esse artigo em Inteligência Artificial, uma das principais revistas da área, onde apresentamos uma explicação clássica em lógica formal disso. E LeCun, em sua entrevista com você, estava falando sobre raciocínio físico em circunstâncias de senso comum. Portanto, aqui está um exemplo perfeito de uma possível teoria alternativa que Davis e eu propusemos. Não acho que a teoria que Davis e eu propusemos esteja correta, para ser honesto. Acho que ela apenas delimita o problema. Mas é um problema difícil e há espaço para fazer mais trabalho nele. Mas o ponto é que não é como se LeCun realmente tivesse uma teoria implementada de raciocínio físico sobre recipientes que ele possa dizer ser uma alternativa. Então ele aponta para mim e diz: Bem, você não tem uma alternativa. Bem, ele não tem uma alternativa para o que eu propus.

Também: O que vem a seguir para a IA: Gary Marcus fala sobre a jornada em direção a uma inteligência artificial robusta

Você não obtém uma boa ciência quando as pessoas estão atacando as credenciais das outras. Francis Crick não era biólogo. Isso significa que o modelo dele de DNA está errado? Não. Ele era físico, mas você pode vir de outra área e ter algo a dizer. Há muitos, muitos exemplos disso historicamente.

Se você sugar o oxigênio da sala ao intimidar outras pessoas a abandonarem hipóteses alternativas, você corre o risco de ter uma ideia errada. Existe um grande precedente histórico disso, grande e triste, um claro, que está nos primeiros anos de 1900, a maioria das pessoas no campo pensava que os genes, que Mendel tinha descoberto, eram compostos por proteínas. Eles estavam procurando a base molecular dos genes, e estavam todos errados. Eles escreveram artigos orgulhosos sobre isso. Alguém ganhou um Prêmio Nobel, acho que foi em 1946, pelo vírus do tabaco, que eles pensavam ser uma proteína e na verdade não era. É um dos poucos Prêmios Nobel que foram erroneamente concedidos. E descobriu-se que o DNA é na verdade um ácido, essa coisa estranha chamada DNA sobre a qual as pessoas não sabiam muito na época. Então, você tem esses períodos na história em que as pessoas têm uma ideia muito clara sobre qual é a resposta e estão erradas.

No longo prazo, a ciência se corrige. Mas a razão pela qual temos uma espécie de etiqueta e melhores práticas sobre não ad hominem, citar o trabalho de outras pessoas, construir sobre ele, é para que não tenhamos erros como esse e para que possamos ser mais eficientes. Se formos desdenhosos, e essa é realmente a palavra que eu mais usaria em relação a LeCun, se formos desdenhosos em relação ao trabalho de outras pessoas, como o trabalho de Judea Pearl, meu trabalho, o trabalho de Schmidhuber, toda a comunidade neuro-simbólica, corremos o risco de nos concentrarmos no conjunto errado de modelos por muito tempo.

ENBLE: Em relação ao seu artigo de 2018, que é um artigo maravilhoso, a citação-chave para mim é: “A aprendizagem profunda até agora é superficial, tem capacidade limitada de transferência, embora a aprendizagem profunda seja capaz de coisas incríveis”. Todos nós estamos um pouco encantados com as coisas incríveis, ou seja, ela transforma nossas fotografias em imagens de alta resolução em nossos smartphones. Sejamos francos: essas coisas funcionam em algum nível. E agora você e LeCun estão dizendo que isso não é inteligência, nem mesmo um começo de inteligência, é realmente primitivo. Vocês dois estão enfrentando, ao que me parece, um regime industrial que está cada vez mais lucrando ao apresentar essas coisas incríveis que essas máquinas fazem.

GM: A primeira coisa que direi é que não quero discutir se é ou não é inteligência. Isso depende de como você define os termos. Então, eu diria que não é irracional chamar a aprendizagem profunda de uma forma de inteligência, dependendo da sua definição. Você pode chamar uma calculadora de inteligente se quiser, ou um computador de xadrez. Eu realmente não me importo. Mas a forma de inteligência pela qual podemos chamar de inteligência geral ou inteligência adaptativa, eu me importo com a inteligência adaptativa. Eu me pergunto como podemos criar máquinas em que você possa dizer: “Aqui está o meu problema, vá resolvê-lo”, da mesma forma que você pode dizer a um estagiário universitário algumas coisas sobre algo e fazê-lo trabalhar nisso e realizar um trabalho credível. Não temos máquinas assim. Não temos máquinas que tenham um nível suficientemente alto de compreensão do mundo, ou compreensão do mundo, para lidar com novidades. Muitos dos exemplos que você menciona são coisas em que temos uma quantidade enorme de dados que não mudam muito. Então, você pode obter bilhões de tentativas de pessoas dizendo a palavra “Alexa” e certamente você pode usar esses algoritmos para reconhecer a palavra “Alexa”.

Também: Para uma era mais perigosa, uma sátira deliciosa da IA atual

Por outro lado, Eric Topol, que é uma das pessoas que mais admiro que trabalha com IA e medicina, publicou um tweet dois dias atrás mostrando que ainda existem problemas sérios para fazer a IA realizar algo realmente útil na medicina. E isso ocorre porque a biologia está em constante mudança.

Para dar outro exemplo, muitos desses grandes modelos de linguagem pensam que Trump ainda é presidente porque há muitos dados dizendo “Presidente Trump”, e eles não fazem o raciocínio temporal básico de entender que uma vez que outra pessoa é empossada, você não é mais presidente. Eles simplesmente não fazem isso.

Se você apenas acumular evidências estatísticas e não entender a dinâmica das coisas, você terá um problema. Ou, Walid Saba [cientista de IA e ML] tinha esse belo exemplo. De quem você preferiria receber conselhos, ele perguntou ao GPT-3, uma criança ou uma mesa brilhante. E, ele só conhece a palavra brilhante, então ele diz que receberia conselhos da mesa brilhante. Não há profundidade ali, não está realmente entendendo o mundo.

É uma espécie de brilhantismo, mas também de terror do marketing, que a frase “deep learning” implique profundidade conceitual, mas é exatamente isso que falta. Na verdade, ela apenas significa um certo número de camadas na rede, digamos três ou mais, e atualmente poderia ser 150, mas “deep” em “deep learning” apenas significa número de camadas, não significa profundidade conceitual. Não significa que um desses sistemas saiba o que é uma pessoa, o que é uma mesa, o que é qualquer coisa.

ENBLE: Então, parece meio que as forças contra você são maiores do que as forças entre você e LeCun. Vocês dois estão lutando contra um regime no qual as coisas serão, como ele mesmo disse, projetadas. O mundo conseguirá algo que meio que funciona, mas realmente não é inteligente.

GM: É interessante: Em um mundo diferente, LeCun e eu seríamos aliados. Há uma grande quantidade de coisas com as quais concordamos. Recentemente, eu as esbocei em um artigo com o título, que tinha as palavras “mudança de paradigma”. Eu estava realmente respondendo ao Slate Star Codex, Scott Alexander. Escrevi um artigo no meu Substack, “Será que a IA realmente precisa de uma mudança de paradigma?” E há uma seção lá em que eu descrevo todas as maneiras em que LeCun e eu concordamos.

Se você olhar para a estrutura maior do campo, estamos alinhados na maioria dos pontos. E vou revisar alguns deles porque acho que são importantes. O primeiro ponto em que LeCun e eu estamos alinhados é que apenas a escalabilidade não é suficiente. Agora, não estamos sozinhos nessa ideia, mas há uma verdadeira divisão no campo. Acredito que muitas pessoas da geração mais jovem ficaram muito impressionadas com as demonstrações de escalabilidade. [Pesquisador do DeepMind] Nando de Freitas escreveu algo no Twitter em que disse que o jogo acabou, a IA é apenas uma questão de escalabilidade. A isso, eu escrevi uma resposta chamada “Inteligência Alternativa”, que foi o primeiro artigo no Substack que tenho mantido. Ultimamente, as pessoas têm chamado isso de maximalismo de escalabilidade, como se a escalabilidade fosse tudo o que você precisa. Essa é uma das maiores questões no campo atualmente. E LeCun e eu concordamos plenamente que o maximalismo de escalabilidade, isso simplesmente não é suficiente para nos levar ao tipo de inteligência adaptativa mais profunda que acredito que ele e eu nos importamos.

Da mesma forma, ele e eu também achamos que o aprendizado por reforço, no qual o DeepMind tem passado muito tempo, mas outras pessoas também têm, também é inadequado. Ele gosta de usar a metáfora de “é apenas a cereja do bolo”, e concordo com ele nisso. Acredito que não é possível fazer um bom aprendizado por reforço até que você realmente entenda o mundo.

Também: Debate sobre IA 2: Noite de mil estudiosos em IA

Ambos concordamos que os modelos de linguagem grandes, embora sejam muito legais, são realmente problemáticos. Agora, aí é onde acredito que realmente apontei isso primeiro, e ele foi realmente um tanto duro quando apontei. Mas concordamos no mesmo ponto. Ambos acreditamos que esses sistemas, por mais impressionantes que sejam, não nos levam à inteligência geral. E isso está relacionado ao ponto da escalabilidade.

Essas são algumas das questões mais importantes. E, de certa forma, nossa visão coletiva é minoritária, e acredito que ambos estamos corretos nesses pontos. O tempo dirá. São todas questões empíricas. Precisamos fazer mais trabalho. Não conhecemos as respostas científicas, mas certamente LeCun e eu compartilhamos intuições bastante profundas sobre esses pontos.

Outro ponto em que concordamos profundamente é que você precisa ter modelos e senso comum, são realmente duas coisas. Você precisa ter modelos de como o mundo funciona, e relacionado a isso, embora provavelmente concordemos também que seja algo nebuloso, ambos acreditamos que você precisa de algo como senso comum e que isso é realmente fundamental.

Eu poderia imaginar nós dois compartilhando um painel no Festival Mundial de Ciências, e então começaríamos a falar sobre as sete coisas com as quais concordamos, e agora aqui está por que acredito que os modelos do mundo precisam ser desse jeito ou daquele jeito, e seria uma discussão interessante se conseguíssemos voltar a esse ponto onde já estivemos.

ENBLE: E onde vocês diferem?

GM: Eu argumentaria que existe muito conhecimento simbólico que poderíamos querer usar. Eu argumentaria que as ferramentas simbólicas até agora oferecem uma maneira muito melhor de generalizar além da distribuição, e isso é realmente importante. Atualmente, todos nós sabemos que a mudança na distribuição é um problema crítico. Eu levantei isso em 2018, acho que ainda é o problema essencial, como você generaliza além dos dados que já viu. E acredito que os modelos simbólicos podem ter alguma vantagem nesse aspecto. Eu admitiria que não sabemos como aprender esses modelos. E acredito que a melhor esperança de LeCun de fazer algum avanço nesse sentido estaria no lado do aprendizado desses modelos. Não tenho certeza se ele tem a arquitetura certa, mas pelo menos ele tem o espírito certo nesse sentido.

Também: O Diabo está nos detalhes no debate histórico sobre IA

E então o outro lugar onde discordamos substancialmente, e este foi o debate de 2017, foi sobre a inatidão. Eu acho que precisamos de mais inatidão. E a grande ironia é que a maior contribuição de LeCun para a IA é a prioridade inata da convolução, que algumas pessoas chamam de invariância de tradução. E isso diz essencialmente que é uma forma de conectar que um objeto vai parecer o mesmo se aparecer em diferentes locais. Eu acho que precisamos de mais prioridades como essa. Mais coisas inatas como essa. E LeCun realmente não quer isso. Ele realmente não quer que haja uma estrutura inata. Ele está no campo chamado, não por acidente, aprendizado de máquina. E as pessoas no aprendizado de máquina querem que tudo seja aprendido. Nem todos eles, mas muitos.

Minha visão é que, se você olhar para a biologia, somos apenas uma grande mistura de estrutura inata e maquinaria de calibração aprendida. Portanto, a estrutura do nosso coração, por exemplo, é claramente inata. Há alguma calibração. Seus músculos cardíacos podem crescer quando você se exercita, e assim por diante. Mas há muita estrutura inata. Eu acho que há um viés no campo do aprendizado de máquina contra a inatidão que acho que realmente prejudicou o campo e o manteve para trás. Então, esse é um ponto em que discordaríamos.

Faço o que acho que as pessoas deveriam fazer. Entendo as opiniões do meu oponente. Acho que posso caracterizá-las e falar sobre pontos de concordância e discordância e caracterizar o que são. Enquanto acho que LeCun tem tentado simplesmente me descartar do palco. Não acho que essa seja a maneira correta de fazer ciência.

Pergunta final: O que você acha que é importante com o qual estamos lidando que é maior do que você e Yann LeCun?

GM: Bem, não acho que nenhum de nós tenha a resposta, é a primeira coisa que direi. E a razão pela qual gostaria que ele realmente debatasse comigo no final das contas é porque acho que o campo está estagnado e que a única maneira de sairmos desse impasse é se algum estudante ou jovem veja as coisas de forma um pouco diferente do que o resto de nós viu. E ter pessoas como LeCun e eu, que têm pontos de vista fortes que podem articular, pode ajudar as pessoas a verem como consertar isso. Portanto, é claro que há uma grande razão para querer um sistema baseado em aprendizado e não querer algo pré-definido. E é claro que há uma grande razão para querer as vantagens da manipulação de símbolos. E não há uma maneira conhecida de, como diz o ditado, ter o bolo e comê-lo também.

Então, gosto de pensar que existe um espaço de modelos possíveis, certo? As redes neurais são todas sobre explorar espaços multidimensionais. Existe um espaço de arquiteturas possíveis para a IA. A maioria do que estudamos está em um cantinho desse espaço. Esse cantinho do espaço não está funcionando muito bem. LeCun e eu concordamos sobre isso. A questão é: como saímos desse cantinho e começamos a olhar para outros lugares? E ambos temos nossas suposições sobre isso, mas certamente não sabemos com certeza. E há muito espaço, acho, para muitas mudanças de paradigma ainda por vir. Na verdade, naquele meu artigo chamado “mudança de paradigma”, cito LeCun dizendo isso. Existe essa parte do campo que acredita que não precisamos de outra mudança de paradigma, só precisamos de mais dados. Mas LeCun e eu achamos que precisamos de mudanças de paradigma, ou seja, precisamos olhar para fora do espaço de modelos que estamos olhando agora. A melhor maneira de ajudar outras pessoas a fazer isso é articular onde estamos presos.

---

• artificial intelligence
• Innovation