IA turbina produção científica, mas levanta bandeiras sobre qualidade
Desde o final de 2022, com a popularização do ChatGPT, muitos pesquisadores relatam um aumento expressivo em sua capacidade de produção científica. Essa nova ferramenta de inteligência artificial, e outras similares, tem sido adotada para agilizar a elaboração de artigos. No entanto, paralelamente a esse avanço na quantidade, editores de periódicos observam um crescimento em submissões com uma escrita impecável, mas que, em alguns casos, aparenta carecer de substância científica.
Um estudo recente da Universidade Cornell sugere que esses relatos informais apontam para uma transformação mais profunda na forma como os cientistas conduzem e comunicam suas pesquisas. Os pesquisadores descobriram que os grandes modelos de linguagem (LLMs), como o ChatGPT, são capazes de **impulsionar significativamente a produção de artigos científicos**. Os benefícios são particularmente notáveis para cientistas cuja língua nativa não é o inglês, facilitando a comunicação de trabalhos técnicos em um idioma estrangeiro.
Contudo, o volume crescente de textos com redação aprimorada pela IA apresenta um novo desafio: **dificulta a identificação de trabalhos que realmente agregam valor científico**. Essa mudança, segundo os autores, abrange diversas áreas do conhecimento, desde as ciências físicas e computacionais até as biológicas e sociais. A situação exige uma análise séria, especialmente por parte de quem decide sobre o apoio e financiamento à pesquisa.
A metodologia do estudo da Cornell
Para investigar o impacto dos LLMs na publicação científica, a equipe da Cornell compilou um vasto conjunto de dados. Foram analisados mais de **2 milhões de artigos publicados entre janeiro de 2018 e junho de 2024** em três das principais plataformas de pré-publicação: arXiv (ciências físicas), bioRxiv (ciências da vida) e Social Science Research Network (SSRN, ciências sociais). Essas plataformas hospedam estudos que ainda não passaram pelo processo formal de revisão por pares.
Os pesquisadores compararam artigos publicados antes de 2023, considerados escritos predominantemente por humanos, com textos gerados ou auxiliados por IA. Com base nessa comparação, desenvolveram um modelo capaz de **identificar artigos que provavelmente foram escritos com o auxílio de LLMs**. Essa ferramenta permitiu estimar quais autores estavam utilizando essas tecnologias, quantificar o aumento na publicação de artigos antes e depois da adoção da IA, e verificar a subsequente aceitação desses manuscritos por periódicos científicos.
Ganhos de produtividade e a barreira linguística
Os resultados da análise revelaram um **salto claro na produtividade associado ao uso aparente dos LLMs**. No arXiv, cientistas identificados como usuários dessas ferramentas publicaram aproximadamente **um terço a mais de artigos** em comparação com aqueles que não demonstraram utilizar IA. Nos repositórios bioRxiv e SSRN, esse aumento ultrapassou a marca de **50%**.
O impulso na produção foi ainda mais acentuado entre cientistas que utilizam o inglês como segunda língua. Esses pesquisadores, que frequentemente enfrentam barreiras adicionais para comunicar trabalhos técnicos em uma língua estrangeira, viram sua produtividade aumentar consideravelmente. Por exemplo, pesquisadores de instituições asiáticas passaram a publicar entre **43,00% e 89,3% mais artigos** após a indicação de uso de LLMs, em comparação com seus pares que não adotaram a tecnologia. Essa vantagem pode, a longo prazo, **alterar os padrões globais de produtividade científica**, potencialmente beneficiando regiões historicamente prejudicadas pela barreira linguística.
IA na busca e o desafio para a avaliação da pesquisa
O estudo também apontou para um benefício potencial no processo de busca por literatura e na formação de citações. Ferramentas de busca impulsionadas por IA, como o Bing Chat, mostraram-se mais eficazes em destacar artigos recentes e livros relevantes, em contraste com métodos tradicionais que tendem a retornar fontes mais antigas e com maior número de citações. “Pessoas que utilizam LLMs estão se conectando a um conhecimento mais diversificado, o que pode estar impulsionando ideias mais criativas”, afirmou Keigo Kusumegi, primeiro autor do estudo.
No entanto, a mesma tecnologia que aprimora a produção levanta questões sobre a **avaliação da qualidade da pesquisa**. Em artigos escritos por humanos, uma redação clara e complexa, com frases elaboradas e vocabulário sofisticado, frequentemente sinaliza pesquisas de maior qualidade. Em conjuntos de dados analisados, artigos humanos com alta complexidade na escrita eram mais propensos a serem aceitos em periódicos.
Esse padrão, contudo, difere para os artigos que parecem ter sido escritos com auxílio de LLMs. Mesmo quando exibem alta complexidade na redação, esses artigos foram **menos frequentemente aceitos em periódicos**. Os pesquisadores interpretam isso como um indicativo de que a linguagem polida, gerada por IA, pode não refletir de forma confiável o valor científico intrínseco do trabalho. Revisores podem estar, inadvertidamente, rejeitando alguns manuscritos, apesar de sua escrita soar robusta.
Essa discrepância entre a qualidade da escrita e a qualidade da pesquisa pode ter consequências sérias. Editores e revisores podem encontrar mais dificuldades para identificar as submissões mais valiosas. Universidades e agências de fomento, por sua vez, podem constatar que a simples contagem de publicações deixa de refletir a verdadeira contribuição científica de seus pesquisadores.
O futuro da pesquisa com IA
Os pesquisadores da Cornell enfatizam que essas descobertas são de natureza observacional. O próximo passo envolve a realização de **experimentos controlados** para testar relações de causa e efeito, inclusive com a designação aleatória de cientistas para utilizar ou não LLMs. Essa abordagem experimental visa aprofundar a compreensão sobre o impacto real da IA na ciência.
A comunidade científica está se mobilizando para discutir o tema. Um simpósio está sendo organizado para explorar como a IA generativa está transformando a pesquisa e como cientistas e formuladores de políticas podem guiar essas mudanças de forma eficaz. À medida que a IA se torna mais comum na escrita, codificação e até mesmo na geração de ideias, sua influência na ciência tende a expandir, transformando esses sistemas em verdadeiros “coscientistas”.
Yin defende a atualização das regras e diretrizes para acompanhar essa tecnologia em rápida evolução. A discussão atual, ele ressalta, não se trata mais de saber *se* a IA foi utilizada, mas sim de entender **como exatamente ela foi empregada e se seu uso foi, de fato, benéfico** para o avanço do conhecimento científico.
Deixe um comentário