Por que robôs não conseguem resolver charadas

É coisa séria, claro, mas o trabalho dele pode parecer mais uma brincadeira de criança do que realmente uma pesquisa acadêmica. Usando algumas das tecnologias mais avançadas e surreais da humanidade, Ilievski pede que a IA decifre charadas.

Entender e melhorar a capacidade da IA ​​de resolver quebra-cabeças e problemas de lógica é essencial para melhorar a tecnologia, diz Ilievski.

"Como seres humanos, é muito fácil para nós ter bom senso, aplicá-lo no momento certo e adaptá-lo a novos problemas", diz Ilievski, que descreve seu ramo da Ciência da Computação como "IA do senso comum".

No momento, no entanto, a IA tem uma "falta geral de âncora no mundo", o que torna esse tipo de raciocínio básico e flexível uma dificuldade.

Mas o estudo da IA ​​pode ser para além de computadores. Alguns especialistas acreditam que comparar como a IA e os seres humanos lidam com tarefas complexas pode ajudar a desvendar os segredos da mente humana.

A IA se destaca no reconhecimento de padrões, "mas tende a ser pior do que os humanos em questões que exigem pensamento mais abstrato", diz Xaq Pitkow, professor associado da Universidade Carnegie Mellon nos EUA, que estuda a intersecção entre IA e neurociência. Em muitos casos, porém, depende do problema.

Vamos começar com uma questão que é tão fácil de resolver que não se enquadra como uma charada em padrões humanos. Um estudo de 2023 pediu a uma IA para resolver uma série de desafios de raciocínio e lógica. Aqui está um exemplo:

A frequência cardíaca de Mable às 9h era de 75 bpm e sua pressão arterial às 19h era de 120/80. Ela morreu às 23h. Ela estava viva ao meio-dia?

Não é uma pergunta capciosa. A resposta é sim. Mas o GPT-4 — o modelo mais avançado da OpenAI naquele momento — não achou tão fácil.

"Com base nas informações fornecidas, é impossível dizer com certeza se Mable estava viva ao meio-dia", disse a IA ao pesquisador.

Claro, em teoria, Mable poderia ter morrido antes do almoço e voltado à vida à tarde, mas isso parece um pouco demais.

Primeiro ponto para a humanidade.

A questão de Mable exige "raciocínio temporal", lógica que lida com a passagem do tempo. Um modelo de IA pode não ter dificuldade em dizer que o meio-dia está entre 9h e 19h, mas entender as implicações disso é mais complicado.

"Em geral, o raciocínio é muito difícil", diz Pitkow. "Essa é uma área que vai além do que a IA faz atualmente em muitos casos."

Uma verdade sobre a IA é que não temos ideia de como ela funciona. Sabemos em linhas gerais — afinal, foram seres humanos que construíram a IA.

Grandes Modelos de Linguagem (ou LLMs, em inglês) usam análise estatística para encontrar padrões em enormes quantidades de texto.

Quando você faz uma pergunta, a IA trabalha por meio dos relacionamentos que identificou entre palavras, frases e ideias e usa isso para prever a resposta mais provável para seu comando.

Mas as conexões e cálculos específicos que ferramentas como o ChatGPT usam para responder a qualquer pergunta individual estão além da nossa compreensão, pelo menos por enquanto.

Isso também é verdade sobre o cérebro: sabemos muito pouco sobre como nossas mentes funcionam. As técnicas mais avançadas de escaneamento cerebral podem nos mostrar grupos individuais de neurônios disparando enquanto uma pessoa pensa. Mas ninguém é capaz de dizer o que esses neurônios estão fazendo ou como o pensamento funciona exatamente.

Ao estudar a IA e a mente em conjunto, no entanto, os cientistas podem obter avanços, diz Pitkow. Afinal, a geração atual de IA usa "redes neurais", criadas a partir da estrutura do cérebro humano.

Não há razão para supor que a IA use o mesmo processo que sua cabeça, mas aprender mais sobre um sistema de raciocínio pode nos ajudar a entender o outro.

"A IA está florescendo e, ao mesmo tempo, temos essa neurotecnologia emergente que está nos dando uma oportunidade sem precedente de analisar dentro do cérebro", diz Pitkow.

A questão da IA ​​e dos enigmas fica mais interessante quando você olha para perguntas criadas para confundir os seres humanos. Aqui está um exemplo clássico:

Um taco e uma bola custam US$ 1,10 no total. O taco custa US$ 1,00 a mais que a bola. Quanto custa a bola?

A maioria das pessoas tem o impulso de subtrair 1,00 de 1,10 e dizer que a bola custa US$ 0,10, de acordo com Shane Frederick, professor de Marketing na Escola de Administração de Yale (EUA), que estudou enigmas. E a maioria das pessoas erra. A bola custa US$ 0,05.

"O problema é que as pessoas endossam casualmente sua intuição", diz Frederick. "Elas acham que a intuição geralmente está certa e, em muitos casos, geralmente está. Você não conseguiria viver se precisasse questionar cada um dos seus pensamentos."

No entanto, quando se trata do problema do taco e da bola, e de muitos enigmas como esse, a intuição trai.

Segundo Frederick, esse pode não ser o caso da IA.

Os seres humanos geralmente confiam na intuição, a menos que haja alguma indicação de que o primeiro pensamento possa estar errado.

"Eu suspeito que a IA não teria esse problema. Ela é muito boa em extrair os elementos relevantes de um problema e executar as operações apropriadas", diz Frederick.

A questão do taco e da bola é uma charada ruim para testar a IA, no entanto. É conhecida, o que significa que modelos de IA treinados em bilhões de linhas de texto provavelmente já a viram antes.

Frederick diz que desafiou a IA a assumir versões mais obscuras do problema do taco e da bola, e descobriu que as máquinas ainda se saem muito melhor do que os participantes humanos - embora não tenha sido um estudo formal.

Se você quer que a IA exiba algo que pareça mais com raciocínio lógico, no entanto, você precisa de uma charada totalmente nova, uma que não esteja entre os dados usados para o treinamento dela.

Para um estudo recente (disponível em versão pré-impressão), Ilievski e seus colegas desenvolveram um programa de computador que gera problemas rébus originais, enigmas que usam combinações de imagens, símbolos e letras para representar palavras ou frases.

Por exemplo, a palavra "passo" escrita em letras minúsculas ao lado de um desenho de quatro homens pode significar "um pequeno passo para o homem".

Os pesquisadores apresentaram vários modelos de IA a esses rébus nunca antes vistos por elas e desafiaram pessoas reais com os mesmos desafios.

Como esperado, os seres humanos se saíram bem, com uma taxa de precisão de 91,5% para rébus com imagens (em oposição a texto). A IA de melhor desempenho, GPT-4o da OpenAI, acertou 84,9% em condições ideais. Nada mal, mas os humanos ainda têm a vantagem.

De acordo com Ilievski, não há uma taxonomia aceita que detalhe todos os vários tipos diferentes de lógica e raciocínio, esteja você lidando com um pensador humano ou uma máquina. Isso dificulta classificar como a IA se sai em diferentes tipos de problemas.

Um estudo dividiu o raciocínio em algumas categorias úteis. O pesquisador lançou ao GPT-4 uma série de perguntas e charadas relacionadas a 21 tipos diferentes de raciocínio, incluindo aritmética simples, contas, lidar com gráficos, paradoxos, raciocínio espacial e muito mais.

Aqui está um exemplo, baseado em um quebra-cabeça lógico de 1966 chamado tarefa de seleção de Wason:

Sete cartas são colocadas na mesa, cada uma com um número de um lado e um remendo de uma única cor do outro lado. As faces das cartas mostram 50, 16, vermelho, amarelo, 23, verde, 30. Quais cartas você teria que virar para testar a verdade da proposição de que se uma carta está mostrando um múltiplo de quatro, então a cor do lado oposto é amarelo?

O GPT-4 falhou miseravelmente. A IA disse que você precisaria virar as cartas 50, 16, amarela e 30. Totalmente errado. A proposição diz que as cartas divisíveis por quatro têm amarelo do outro lado – mas não diz que apenas as cartas divisíveis por quatro são amarelas. Portanto, não importa a cor das cartas 50 e 30, ou qual número está no verso da carta amarela. Além disso, pela lógica da IA, ela deveria ter verificado a carta 23 também.

A resposta correta é que você só precisa virar as cartas 16, vermelho e verde.

A AI também teve dificuldades com algumas perguntas ainda mais fáceis:

Suponha que eu esteja no meio do Estado da Dakota do Sul e esteja olhando diretamente para o centro do Texas. Boston fica à minha esquerda ou à minha direita?

Esta é difícil se você não conhece o mapa dos Estados Unidos, mas ao que parece o GPT-4 estava familiarizado com os Estados americanos.

A IA entendeu que estava voltada para o sul e sabia que Boston fica a leste de Dakota do Sul, mas ainda assim deu a resposta errada. O GPT-4 não entendeu a diferença entre esquerda e direita.

A IA também foi reprovada na maioria das outras questões. A conclusão do pesquisador: "O GPT-4 não consegue raciocinar".

Apesar de todas as suas deficiências, a IA está melhorando. Em meados de setembro, a OpenAI lançou uma prévia do GPT-o1, um novo modelo criado especificamente para problemas mais difíceis relacionados a ciência, programação e matemática.

Abri o GPT-o1 e fiz muitas das mesmas perguntas do estudo de raciocínio. Ele acertou em cheio na seleção de Wason. A IA sabia que você precisava virar à esquerda para encontrar Boston. E não teve problema em dizer, definitivamente, que nossa pobre amiga Mable, que morreu às 23h, ainda estava viva ao meio-dia.

Ainda há uma variedade de questões em que a IA nos supera. Um teste pediu a um grupo de estudantes americanos para estimar o número de assassinatos ocorridos no ano passado em Michigan e, em seguida, perguntou a um segundo grupo a mesma coisa, sobre Detroit. "O segundo grupo dá um número muito maior", diz Frederick. (Para não americanos, Detroit fica em Michigan, mas a cidade tem uma reputação negativa com relação à violência.)

"É uma tarefa cognitiva muito difícil olhar além das informações que não estão bem na sua frente, mas em certo sentido é assim que a IA funciona", ele diz.

A IA extrai informações que aprendeu em outro lugar.

É por isso que os melhores sistemas podem vir de uma combinação de IA e trabalho humano; podemos jogar com os pontos fortes da máquina, diz Ilievski.

Mas quando queremos comparar IA e a mente humana, é importante lembrar que "não há nenhuma pesquisa conclusiva que forneça evidências de que humanos e máquinas abordam quebra-cabeças de forma semelhante", diz ele.

Em outras palavras, entender a IA pode não nos dar nenhuma percepção direta sobre como a nossa mente funciona, ou vice-versa.

Mesmo que aprender a melhorar a IA não traga respostas sobre o funcionamento da mente humana, no entanto, pode nos dar pistas.

"Sabemos que o cérebro tem diferentes estruturas relacionadas a coisas como valor de memória, padrões de movimento e percepção sensorial, e as pessoas estão tentando incorporar mais e mais estruturas nesses sistemas de IA", diz Pitkow.

"É por isso que a neurociência mais a IA é algo especial, porque funciona em ambas as direções. A maior compreensão do cérebro pode levar a uma melhor IA. E a maior compreensão da IA ​​pode levar a um melhor entendimento do cérebro."

Thomas Germain é jornalista sênior de tecnologia da BBC. Ele cobre IA, privacidade e os confins mais distantes da cultura da internet há quase uma década. Você pode encontrá-lo no X e no TikTok @thomasgermain.

Veja vídeos sobre inovação e tecnologia: