IA aprende jogo Othello: Experimento apoia hipótese do modelo de mundo

IA aprende jogo Othello: Experimento apoia hipótese do modelo de mundo

Uma nova pesquisa da Universidade de Copenhague está reavaliando a intrigante **hipótese do modelo de mundo Othello**, investigando se grandes modelos de linguagem (LLMs) são capazes de internalizar as regras e a estrutura de um jogo complexo como o Othello, apenas analisando sequências de jogadas. Essa abordagem desafia a noção de que LLMs, treinados exclusivamente em texto, não podem desenvolver uma compreensão espacial ou visual do mundo.

O que é a Hipótese do Modelo de Mundo Othello?

A **hipótese do modelo de mundo Othello** postula que LLMs treinados unicamente em sequências de jogadas podem formar um **modelo interno do jogo**, incluindo a disposição do tabuleiro e suas mecânicas, sem nunca terem acesso às regras explícitas ou a uma representação visual. Teoricamente, esses modelos seriam capazes de prever jogadas válidas com base apenas nesse mapa interno. A ideia de que a inteligência artificial generativa pode construir modelos de mundo ganhou destaque, especialmente após o surgimento de modelos como o Sora da OpenAI, embora o conceito também tenha enfrentado críticas.

Experimentos anteriores, que exploraram se o GPT-2 poderia aprender um modelo interno de Othello, já haviam indicado a possibilidade de que redes transformer conseguem captar estruturas e regras a partir de dados simples. Embora esses resultados iniciais não tenham sido totalmente generalizados para os modelos atuais nem tenham silenciado todas as críticas, eles levantaram questões fundamentais sobre as capacidades dos grandes modelos de linguagem.

Modelos de Linguagem Constroem Mapas Internos Surpreendentes

No estudo mais recente, a equipe de Copenhague treinou sete modelos de linguagem distintos, incluindo **GPT-2, T5, Bart, Flan-T5, Mistral, LLaMA-2 e Qwen2.5**, para prever a próxima jogada em partidas de Othello. Para isso, foram utilizados dois conjuntos de dados: um com aproximadamente 140 mil jogos reais e outro com milhões de jogos sintéticos. Uma diferença crucial em relação a trabalhos anteriores foi a utilização de **“ferramentas de alinhamento de representação”**. Esses instrumentos permitem que os pesquisadores comparem diretamente os “mapas” internos que cada modelo forma do tabuleiro de Othello, superando limitações apontadas em estudos anteriores.

Os resultados demonstraram que os modelos não apenas aprenderam a jogar Othello, mas também a desenvolver **representações internas da estrutura espacial do tabuleiro com uma semelhança surpreendente**. Mesmo em arquiteturas distintas, a forma como esses modelos “enxergam” o tabuleiro revela uma elevada similaridade. O desempenho dos modelos variou de acordo com a arquitetura e o tamanho do conjunto de dados. Com jogos reais, a maioria dos modelos alcançou **taxas de erro inferiores a 6%** quando treinados com o conjunto completo.

Por outro lado, com dados sintéticos, as taxas de erro caíram drasticamente à medida que o conjunto de dados aumentava – passando de cerca de 50% com 2.000 jogos para **menos de 0,1% com o conjunto completo**. Curiosamente, modelos como o Flan-T5 e o LLaMA-2, que foram pré-treinados em textos gerais, não superaram de forma consistente os modelos sem treinamento prévio em linguagem. Isso sugere que aprender um modelo de mundo do tabuleiro de Othello a partir de sequências de jogadas não depende necessariamente do conhecimento prévio de linguagem, reforçando a capacidade de abstração dos LLMs.

Implicações Profundas para a Pesquisa em IA

O estudo desafia uma suposição comum entre alguns críticos dos grandes modelos de linguagem: a ideia de que sistemas monomodais – treinados apenas com um tipo de dado, como texto – não conseguem resolver problemas que exijam entendimento de informações visuais ou espaciais. Dado que o tabuleiro de Othello é, por essência, visual, o fato de esses modelos conseguirem reconstruí-lo a partir de sequências brutas de jogadas evidencia uma **surpreendente capacidade de abstração e aprendizado espacial**. Isso sugere que a **hipótese do modelo de mundo Othello** pode ser mais robusta do que se pensava.

Além disso, os achados abordam o antigo problema da fundamentação simbólica na inteligência artificial – o desafio de como símbolos abstratos (como “C3” em Othello) se conectam a significados concretos. Nesse contexto, os modelos aprendem a associar símbolos a posições específicas no tabuleiro e às relações espaciais entre elas, ao invés de tratá-los como meros tokens genéricos. Yifei Yuan e Anders Søgaard, responsáveis pelo estudo apresentado na ICLR 2025, defendem que seu trabalho oferece **evidências muito mais robustas em favor da hipótese do modelo de mundo Othello** do que pesquisas anteriores. Eles argumentam que a capacidade de um modelo de linguagem de inferir a estrutura espacial de um jogo a partir de dados puramente sequenciais é um indicativo poderoso de que esses sistemas estão, de fato, construindo representações internas do mundo.

A pesquisa abre novas avenidas para o desenvolvimento de IAs mais capazes e versáteis, demonstrando que o aprendizado a partir de dados textuais pode transcender a mera manipulação de palavras, alcançando uma compreensão mais profunda de estruturas e relações. A **capacidade dos LLMs de aprenderem o jogo Othello** serve como um poderoso argumento a favor da **hipótese do modelo de mundo**, sugerindo que esses sistemas podem estar desenvolvendo uma forma de cognição artificial mais sofisticada do que se imaginava. Os resultados são particularmente significativos no contexto de debates sobre as limitações e o potencial dos modelos de linguagem atuais, oferecendo uma perspectiva otimista sobre suas capacidades emergentes.