A busca por resumos de IA mais eficientes
A inteligência artificial generativa, especialmente modelos como o GPT-4, tem revolucionado a forma como consumimos e geramos conteúdo. No entanto, a qualidade dos resumos produzidos por essas IAs nem sempre atende às expectativas, especialmente quando se trata de capturar a essência de artigos extensos de maneira concisa e informativa. Pensando nisso, a empresa de marketing em nuvem Salesforce desenvolveu uma nova abordagem: o prompt “Chain of Density” (CoD), ou Cadeia de Densidade.
Como funciona o Chain of Density?
O método CoD é uma estratégia engenhosa que visa aprimorar a qualidade dos resumos gerados por IA, como o GPT-4. Em vez de solicitar um resumo completo de uma só vez, o prompt “Chain of Density” opera em um processo iterativo. Inicialmente, o GPT-4 é instruído a criar um primeiro rascunho do resumo, focando em um número mínimo de elementos essenciais. Nas etapas subsequentes, o modelo revisa o resumo anterior, adicionando gradualmente mais detalhes e informações relevantes.
Essa abordagem se assemelha ao conceito de “cadeia de pensamento” (chain of thought), onde a saída gerada em uma etapa serve como base para a próxima. Quanto mais vezes o modelo passa por esse ciclo de revisão e adição de detalhes, maior se torna a densidade de informações no resumo, mantendo o mesmo comprimento em caracteres. O resultado são resumos que, segundo a equipe da Salesforce, são “mais abstratos, exibem mais fusão e têm menos viés de chumbo do que os resumos GPT-4 gerados por um prompt de baunilha”.
Testes e resultados promissores
Para validar a eficácia do prompt “Chain of Density”, a equipe de pesquisa da Salesforce realizou testes com 100 artigos de notícias extraídos de fontes como CNN e DailyMail. Revisores humanos, incluindo os próprios autores dos artigos, foram encarregados de avaliar os resumos produzidos. Os resultados foram notáveis: após cerca de três passagens pelo processo CoD, os resumos alcançaram a melhor classificação.
Em média, o GPT-4 demonstrou uma preferência pelos resumos gerados pelo CoD em diversas dimensões, como informação, qualidade, coerência, atribuição e na avaliação geral. Essa superioridade foi observada mesmo quando comparado a um prompt mais simples, como “Escreva um resumo MUITO curto do artigo. Não exceda 70 palavras.”. A equipe ressalta que, embora um certo grau de densificação seja benéfico, “quando os resumos contêm muitas entidades por token, é muito difícil manter a legibilidade e a coerência”.
Desafios e contribuições para a comunidade de IA
A pesquisa também apontou que, embora os resumos intermediários do processo CoD apresentem alta qualidade, os primeiros e últimos passos tendem a ter pontuações ligeiramente inferiores. Isso é compreensível, visto que o primeiro resumo é intencionalmente superficial, e a densidade máxima pode, em alguns casos, comprometer a fluidez. A proximidade nas pontuações entre as etapas intermediárias demonstra a dificuldade inerente em avaliar a qualidade de textos gerados por IA quando estes atingem um alto nível de sofisticação, o que, por sua vez, complica a mensuração exata do impacto da engenharia de prompts.
Como um gesto de contribuição para a comunidade de inteligência artificial, a equipe de pesquisa da Salesforce disponibilizou um conjunto de dados com 500 resumos gerados pelo CoD, acompanhados de 5000 resumos não anotados. Essa iniciativa permite que outros pesquisadores e desenvolvedores explorem, testem e aprimorem ainda mais essa técnica promissora, impulsionando o desenvolvimento de resumos de IA mais precisos, informativos e eficientes.
Deixe um comentário