Pesquisa israelense aponta que reduzir documentos facilita respostas mais precisas

Pesquisa indica redução de documentos pode elevar acurácia em sistemas RAG em até 10%

Um estudo conduzido por pesquisadores da Universidade Hebraica de Jerusalém revelou que, em muitos casos, processar menos documentos pode aumentar o desempenho de modelos de linguagem quando usados em sistemas RAG, mesmo mantendo o mesmo comprimento total de texto. A conclusão contraria a ideia de que maior volume de informação sempre melhora respostas, e traz implicações práticas para aplicações que dependem de recuperação aumentada por dados.

Metodologia e conjunto de dados

Para chegar às conclusões, os pesquisadores trabalharam com o conjunto de validação do MuSiQue. Conforme a descrição do estudo, “Para a pesquisa, foi utilizado o conjunto de validação do MuSiQue, composto por 2.417 perguntas passíveis de resposta. Cada pergunta estava associada a 20 parágrafos da Wikipédia, dos quais apenas dois a quatro continham informações relevantes enquanto os demais funcionavam como distratores realistas.”

Com base nesse material, a equipe criou diversas partições dos dados, reduzindo gradualmente o número de documentos de 20 para 15, 10, oito e, por fim, mantendo apenas os dois a quatro parágrafos com informações pertinentes. Para preservar a contagem de tokens e a posição da informação, os documentos selecionados foram ampliados com trechos extraídos dos artigos originais da Wikipédia.

Resultados e implicações

Os testes envolveram vários modelos open source recentes, e o estudo reportou ganhos relevantes quando o contexto continha menos distrações. Como os autores afirmam, “Testes com diversos modelos open source, incluindo Llama-3.1, Qwen2 e Gemma 2, demonstraram que a redução no número de documentos pode melhorar o desempenho em até 10% na maioria dos casos.”

Segundo a publicação, a única exceção notável foi o modelo Qwen2, possivelmente por sua capacidade maior de lidar com coleções mais diversas. Ainda assim, os resultados mostram que documentos semelhantes, mas não relacionados, muitas vezes recuperados em sistemas RAG podem confundir o modelo e afetar a performance. Em outras palavras, mais contexto nem sempre significa melhor resposta quando há informação contraditória ou irrelevante.

O estudo também aponta que, mesmo com a inclusão de documentos irrelevantes aleatórios, os modelos conseguem identificar e filtrar conteúdos evidentemente desnecessários, mas o processo de analisar múltiplos documentos torna a tarefa mais desafiadora em ambientes de recuperação. Dessa forma, os autores defendem que mecanismos que equilibrem relevância e diversidade são essenciais para otimizar sistemas RAG.

Limitações e próximos passos

Os pesquisadores deixam claro que há limites na investigação atual, e que elementos como variações de prompts e a ordem dos dados precisarão de análise futura. Conforme descrito no texto original, “Os pesquisadores reconhecem algumas limitações no estudo, como a ausência de análises sobre variações nos prompts e os efeitos da ordem dos dados.”

Além disso, os conjuntos de dados usados foram disponibilizados publicamente, com o objetivo de incentivar estudos complementares sobre o processamento de múltiplos documentos em sistemas RAG. Os autores sugerem que futuras gerações de modelos poderão integrar mecanismos para identificar e descartar informações contraditórias, sem perder a diversidade útil dos documentos de suporte.

Este debate ocorre em paralelo à expansão das janelas de contexto dos grandes modelos. À medida que essas janelas crescem, surge a pergunta sobre a real necessidade de arquiteturas RAG, especialmente quando modelos maiores conseguem processar volumes maiores de texto. Ainda assim, para modelos open source de porte mais modesto, os arquiteturas RAG continuam a oferecer vantagens práticas, desde que bem calibradas para minimizar distrações.

Em resumo, a pesquisa sugere que, ao projetar pipelines de busca e recuperação para sistemas RAG, é crucial priorizar a qualidade e a relação direta com a pergunta, mais do que a simples quantidade de documentos. Esse ajuste pode resultar em ganhos de precisão, com impactos diretos em produtos que dependem de respostas factuais e consistentes.