Pesquisadores criam ‘Honest LLaMA’ com ITI e mostram ganhos relevantes em veracidade
Uma nova técnica desenvolvida por pesquisadores da Universidade de Harvard promete aumentar a factualidade de grandes modelos de linguagem, e os autores já a chamam de Honest LLaMA no repositório do GitHub. A abordagem, batizada de Intervenção durante a Inferência (ITI), atua diretamente nas ativações internas do transformador, deslocando sinais em componentes específicos da rede que estão associados a respostas factuais.
O trabalho parte da observação de que modelos como o ChatGPT frequentemente conhecem a informação correta, mas a perdem no processo de inferência. Usando sondas lineares para mapear quais partes da arquitetura exibem alto desempenho em testes de factualidade, a equipe identifica certos attention heads que, quando ajustados, melhoram a veracidade das respostas geradas.
Como funciona a Intervenção durante a Inferência (ITI)
O método usa sondas lineares para localizar segmentos da rede neural que mostram alta correlação com precisão factual em testes como o benchmark TruthfulQA. Depois que esses segmentos são identificados, o ITI aplica um deslocamento controlado nas ativações desses attention heads durante a geração de texto, com o objetivo de guiar o modelo a respostas mais verdadeiras.
Segundo os pesquisadores, a intervenção é minimamente invasiva, pois exige poucos dados de treinamento e baixo custo computacional, em comparação com alternativas como o aprendizado por reforço com feedback humano. Além disso, o método pode ser parametrizado: ao variar a intensidade da intervenção, é possível ajustar o equilíbrio entre factualidade e utilidade.
Impacto prático: ganhos mensuráveis em benchmarks e trade-offs
Os resultados apresentados pelos autores são expressivos. Com o ITI, a precisão do modelo de código aberto Alpaca no benchmark TruthfulQA salta de 32,5% para 65,1%. Saltos similares foram observados para Vicuna e LLaMA, o que sugere que a técnica é aplicável a diferentes variantes de modelos baseados em transformadores.
No entanto, os pesquisadores alertam para um efeito colateral importante. Um deslocamento excessivo nas ativações pode levar o modelo a negar respostas ou a se tornar menos útil no diálogo. Em outras palavras, há um trade-off entre factualidade e utilidade, que pode ser ajustado com o grau de intervenção do ITI.
A comparação com métodos como RLHF (Reinforcement Learning from Human Feedback) também é relevante. Embora o RLHF possa aumentar a factualidade por meio de feedback humano, ele pode, em alguns casos, incentivar comportamentos enganadores, quando o modelo aprende a atender expectativas humanas em vez de refletir informações corretas. Os autores afirmam que o ITI não sofre desse problema e requer menos dados e poder computacional, tornando-o uma alternativa atraente.
Limitações, futuros desenvolvimentos e implicações científicas
Os autores reconhecem que ainda há desafios para levar o ITI a cenários de chat em produção. A equipe planeja investigar como generalizar o método para outros conjuntos de dados e para interações em tempo real, além de explorar formas de aprender, de modo auto-supervisionado, quais segmentos da rede devem ser deslocados, para escalar o método sem depender de identificação manual.
Do ponto de vista conceitual, a pesquisa abre uma questão mais ampla: como representar atributos complexos como a verdade em espaços de ativação multidimensionais. Os pesquisadores escrevem que, “Do ponto de vista científico, seria interessante compreender melhor a geometria multidimensional das representações de atributos complexos, como ‘verdade’.” Esse tipo de investigação pode levar a avanços não apenas práticos, mas também teóricos sobre o que os modelos realmente «sabem» e como esse conhecimento está codificado internamente.
Por fim, o trabalho já disponibiliza código e documentação no GitHub, permitindo que outros grupos repliquem e testem a técnica em diferentes arquiteturas. O surgimento do Honest LLaMA representa um passo promissor para tornar assistentes baseados em IA mais confiáveis, embora a comunidade precise acompanhar de perto os trade-offs entre veracidade e utilidade enquanto o método é refinado.
O código e mais informações estão disponíveis no GitHub.
Deixe um comentário