Resumos de periódicos escritos com a ajuda de inteligência synthetic são percebidos como mais autênticos, claros e atraentes do que aqueles criados exclusivamente por acadêmicos, sugere um estudo.
Embora muitos acadêmicos possam desprezar a ideia de terceirizar resumos de artigos para IA generativa, uma nova investigação realizada por pesquisadores da Universidade de Ontário Universidade de Waterloo descobriram que os revisores por pares avaliaram os resumos escritos por humanos – mas parafraseados usando IA generativa – muito mais do que aqueles escritos sem assistência algorítmica.
Resumos escritos inteiramente por IA – nos quais um grande modelo de linguagem foi solicitado a fornecer um resumo de um artigo – foram avaliados um pouco menos favoravelmente em qualidades como honestidade, clareza, confiabilidade e precisão, embora não significativamente, explica o estudo, publicado em o diário Computadores no Comportamento Humano: Humanos Artificiais.
Por exemplo, a pontuação média de honestidade para um resumo escrito inteiramente por robôs foi de 3,32, com base em uma escala Likert de cinco pontos (onde 5 é a classificação mais alta), mas apenas 3,38 para um resumo escrito por humanos.
Para um resumo parafraseado por IA, foi 3,82, de acordo com o artigo, que pediu a 17 revisores experientes na área de design de jogos de computador para avaliar uma série de resumos quanto à legibilidade e adivinhar se eles foram escritos por IA.
Em algumas medidas, como a clareza percebida e a persuasão, os resumos inteiramente escritos por IA tiveram melhor desempenho do que os resumos inteiramente escritos por humanos, embora não tenham sido vistos como superiores aos trabalhos parafraseados por IA.
Um dos co-autores do estudo, Lennart Nacke, da Stratford Faculty of Interplay Design and Enterprise de Waterloo, disse Tempos de ensino superior que os resultados do estudo mostraram que “os resumos parafraseados pela IA foram bem recebidos”, mas acrescentou que “os pesquisadores deveriam ver a IA como uma ferramenta de aumento” em vez de um “substituto da experiência do pesquisador”.
“Embora os revisores não tenham conseguido distinguir com segurança entre IA e escrita humana, eles foram capazes de avaliar claramente a qualidade da pesquisa subjacente descrita no manuscrito”, disse ele.
“Poderíamos dizer que uma conclusão importante de nossa pesquisa é que os pesquisadores deveriam usar a IA para aumentar a clareza e a precisão em sua escrita. Eles não deveriam usá-lo como produtor autônomo de conteúdo. O pesquisador humano deve continuar a ser o condutor intelectual do trabalho.”
Enfatizando que “os pesquisadores devem ser os principais impulsionadores da redação de seus manuscritos”, continuou Nacke, “a IA (pode) aprimorar a linguagem e melhorar a legibilidade, mas não pode substituir a compreensão profunda que vem com anos de experiência em um campo de pesquisa”.
Enfatizando a importância de ter uma escrita acadêmica distinta – um desejo expresso por vários revisores – ele acrescentou que, “Em nossa period de IA, talvez seja mais essencial do que nunca ter algum toque humano ou expressões subjetivas de pesquisadores humanos na redação de pesquisas”.
“Porque é isto que realmente faz da academia uma comunidade criativa, curiosa e colaborativa”, disse Nacke, acrescentando que seria uma pena se os académicos se tornassem “máquinas impessoais de produção de papel”.
“Deixe essa última parte para os Daleks”, disse ele.
