A Inteligência Artificial que Engana, mas Não Raciocina
A inteligência artificial (IA) atingiu um patamar impressionante, com sistemas como o GPT-4, por trás do ChatGPT, capazes de gerar textos indistinguíveis dos humanos e até mesmo de passar em exames acadêmicos rigorosos. No entanto, uma nova onda de testes está revelando que essa fluidez linguística não se traduz necessariamente em raciocínio lógico ou compreensão profunda. A falha em quebra-cabeças visuais simples, onde a maioria dos humanos se sai bem, expõe as limitações atuais dos grandes modelos de linguagem (LLMs) e acende um debate acalorado sobre como, de fato, medir a inteligência artificial.
O Teste de Turing em Xeque
O tradicional teste de Turing, proposto por Alan Turing em 1950, buscava determinar se uma máquina poderia exibir um comportamento inteligente indistinguível do de um ser humano, através de conversas baseadas em texto. Por décadas, foi o principal referencial para avaliar a IA. Contudo, com o avanço dos LLMs, a capacidade de imitar a conversação humana tornou-se tão sofisticada que muitos desses sistemas provavelmente passariam na concepção popular do teste de Turing. Pesquisadores da AI21 Labs relataram que em um jogo online baseado no teste, os jogadores identificaram bots alimentados por LLM apenas 60% das vezes, um resultado pouco superior ao acaso.
No entanto, especialistas como François Chollet, engenheiro de software do Google, argumentam que é possível identificar um LLM ao explorar suas fraquezas. Ele sugere que, ao tirar o modelo de sua zona de conforto, apresentando cenários que fogem de seus dados de treinamento, suas limitações se tornam evidentes. A crítica principal ao teste de Turing é que ele incentiva a criação de IAs focadas em “truques” e engano, em vez de desenvolver capacidades genuinamente úteis ou interessantes.
Novos Benchmarks para Desvendar a IA
Diante das limitações do teste de Turing, a comunidade científica busca ativamente novos métodos para avaliar a IA. Uma abordagem promissora envolve o uso de benchmarks projetados para testar capacidades específicas, como raciocínio de senso comum e habilidades matemáticas. Além disso, exames acadêmicos e profissionais, antes destinados apenas a humanos, têm sido aplicados a sistemas de IA. O GPT-4, por exemplo, obteve um desempenho notável em diversos testes, incluindo exames de admissão para pós-graduação e até mesmo o Exame Uniforme de Admissão à Ordem dos Advogados nos EUA, onde se posicionou entre os 10% melhores colocados.
Contudo, o sucesso em benchmarks levanta preocupações. Um dos principais desafios é a contaminação, onde os modelos podem ter visto perguntas semelhantes em seus vastos dados de treinamento, levando a respostas baseadas em memorização em vez de compreensão real. Embora a OpenAI tenha realizado testes para mitigar esse problema, a comunidade científica questiona a profundidade dessa verificação. Pesquisadores como Melanie Mitchell, do Instituto Santa Fe, destacam que o sucesso em exames não garante inteligência geral, especialmente porque LLMs funcionam de maneira fundamentalmente diferente dos humanos, aprendendo apenas com a linguagem e sem a experiência incorporada no mundo físico.
A Busca por Raciocínio Abstrato: O Caso ConceptARC
Para ir além da fluidez linguística, pesquisadores como Melanie Mitchell e sua equipe desenvolveram o ConceptARC, um conjunto de quebra-cabeças lógicos visuais projetados para testar o raciocínio abstrato. Em testes comparativos, humanos alcançaram uma média de 91% de acertos, enquanto o GPT-4 obteve resultados significativamente inferiores, com menos de 30% em alguns grupos de conceitos. Essa discrepância reforça a ideia de que, apesar de impressionantes, os LLMs ainda enfrentam dificuldades em tarefas que exigem a compreensão de conceitos e a aplicação de regras a novas situações.
Apesar das dificuldades do GPT-4 com o ConceptARC, alguns pesquisadores, como Sam Bowman da Universidade de Nova York, argumentam que esses testes visuais podem não ser ideais para avaliar LLMs, que são primordialmente baseados em texto. Ele aponta para outros experimentos, como o uso de LLMs em jogos de tabuleiro como Othello, que sugerem a emergência de uma capacidade rudimentar de raciocínio e construção de representações internas do mundo. Bowman acredita que, embora as capacidades de raciocínio dos LLMs sejam “irregulares” e limitadas, a capacidade básica está presente e tende a melhorar com o aumento do tamanho do modelo.
A discussão sobre o que constitui inteligência artificial e como medi-la continua em aberto. A comunidade científica concorda que a ausência de um único teste abrangente, como o teste de Turing, exige uma abordagem multifacetada, com diversos benchmarks para quantificar as forças e fraquezas dos sistemas de IA. A cautela contra a “maldição da antropomorfização”, ou seja, atribuir características humanas à IA sem evidências concretas, é fundamental para um avanço científico preciso e responsável.
Deixe um comentário