Citação: Byrne Ja, Stender S (2025) Mais atrito científico para menos ficção científica. PLOS BIOL 23 (5): E3003167. https://doi.org/10.1371/journal.pbio.3003167
Financiamento: O (s) autor (s) não recebeu financiamento específico para este trabalho.
Interesses concorrentes: Os autores declararam que não existem interesses concorrentes.
Abreviações: Ai, inteligência synthetic; NHANES, Pesquisa Nacional de Exames de Saúde e Nutrição
Os romances de ficção científica são apreciados por muitos leitores em todo o mundo. Os cientistas em explicit podem gostar de explorar mundos imaginários, sem impedimentos por preocupações sobre se os eventos descritos ocorreram ou podem adicionar à nossa compreensão da vida como a conhecemos. Ao mesmo tempo, a maioria dos cientistas espera que as descrições de cenários improváveis ou impossíveis sejam restritos aos romances. Um novo estudo em PLOS Biology fornece evidências de que a ficção científica também pode ser encontrada na literatura, quantificando uma explosão recente e súbita em trabalhos que descrevem análises superficiais e às vezes incompletas do conjunto de dados nacional de pesquisa de exames de saúde e nutrição (NHANES) (NHANES) (NHANES) (NHANES) (NHANES) (NHANES) (NHANES)1). Salak e colegas propõem que a recente disponibilidade de dados de inteligência synthetic em nível populacional-(ai) prontos para a saúde que abrangem muitas variáveis individuais poderiam oferecer oportunidades para escalar a produção de manuscrito de baixo valor por autores individuais e fábricas de papel. Eles então propõem várias recomendações para resolver esse problema.
O artigo de Susak e colegas aumenta um corpo crescente de literatura que descreve aumentos repentinos em artigos repetitivos que descrevem análises superficiais ou superficiais de sistemas complexos. Uma explosão no número de meta-análises publicadas foi descrita em 2013 por ioannidis e colegas (2). Esses autores observaram metanálises frequentes que usaram apenas dados baseados em literatura e se concentraram em 1 a 2 genes ou variantes que eram normalmente identificadas através de abordagens de genes candidatos. Outros autores reconheceram que as metanálises podem representar uma abordagem valiosa para obter publicações em ambientes em que os autores têm tempo ou recursos limitados para realizar pesquisas (3).
O aumento muito rápido das publicações descritas por Susak e colegas reflete outras descrições recentes do aumento do número de manuscritos e publicações de fórmula que analisam conjuntos de dados de saúde no nível da população (4–8). Influxos rápidos de manuscritos de baixo valor foram descritos como esmagadores alguns periódicos e revisores de pares (5Assim,8) e reduzir a capacidade do diário para priorizar outras atividades que beneficiariam seus leitores (7). Aumentos explosivos em manuscritos e publicações que relatam análises de randomização mendelianas superficiais de duas amostras foram descritas em 2024, a partir das perspectivas dos editores de periódicos (6) e revisores de pares (5). Esses aumentos foram propostos para serem ativados por pipelines de análise de dados acessíveis e fáceis de usar. Os grandes modelos de linguagem podem então redigir o manuscrito resultante, permitindo que o processo de pesquisa seja o mais “sem atrito” possível. A geração de manuscritos de fórmula por indivíduos e fábricas de papel pode sustentar os aumentos acentuados nos manuscritos e publicações que descrevem análises superficiais e às vezes implausíveis dos conjuntos de dados de saúde da população.
O estudo de Susak e colegas acrescenta detalhes e métricas importantes a esse problema. Usando uma pesquisa sistemática de literatura, os autores identificaram 341 trabalhos de pesquisa baseados em NHANES publicados na última década, até outubro de 2024. A pesquisa foi confinada a análises de um fator único, ou seja, estudos testando associações entre um preditor e uma condição de saúde no conjunto de dados NHANES. O número de trabalhos identificados em média quatro por ano entre 2014 e 2021, seguido por um aumento parecido com um padrão de crescimento exponencial, com 33, 82 e 190 publicados em 2022, 2023 e 2024, respectivamente. As deficiências desses documentos de fator único incluíram a falha em reconhecer ou considerar a probabilidade de relações multifatoriais e os riscos de falsas descobertas. É importante ressaltar que análises detalhadas identificaram muitos trabalhos que restringiram as análises de dados do NHANES a intervalos de information limitados ou subconjuntos de coorte sem justificativas explícitas, sinalizando potencialmente “dragagem de dados” e/ou arrastamento (ou seja, hipotetização após os resultados são conhecidos).
Dadas descrições recentes de editores de periódicos que rejeitam manuscritos repetitivos baseados em NHANES (4Assim,7Assim,8), é importante reconhecer que Susak e colegas estudaram publicações que, por definição, aprovaram a triagem editorial e a revisão por pares. A reanálise das associações estatísticas em um subconjunto de 28 trabalhos focados na depressão encontrou 13 exemplos em que as associações permaneceram estatisticamente significativas após a correção da taxa de descoberta falsa, e Salak e colegas reconheceram que alguns desses papéis poderiam ter valor científico. Ao mesmo tempo, com tantos manuscritos derivados de NHANES sendo recebidos por alguns periódicos, editores e revisores de pares precisam olhar além da significância estatística, para considerar se as hipóteses e achados subjacentes são plausíveis e contextualmente relevantes (8).
Reconhecendo os possíveis impactos do uso indevido de fluxos de trabalho assistidos pela AI, os autores fornecem várias recomendações para resolver esse problema, que adicionam ou reforçam as recomendações feitas em outros lugares (Tabela 1). Manuscritos de baixo valor se beneficiam claramente dos processos de publicação e revisão “sem fricção” (9) e numerosas recomendações em Tabela 1 Descreva requisitos mais rigorosos do manuscrito. No entanto, autores e usinas de papel podem se adaptar aos requisitos de manuscrito alterados, principalmente quando esses requisitos não são rigorosamente aplicados.
Portanto, é importante que as recomendações visam outros aspectos do processo de publicação, além dos requisitos de manuscrito (Tabela 1). Onde os manuscritos exigem tempo e recursos mínimos para produzir, é provável que a revisão por pares represente a etapa de limitação da taxa para publicação (9). Outras recomendações, portanto, envolvem a aplicação de “atrito” direcionado durante a revisão por pares, por exemplo, fornecendo modelos de rejeição personalizáveis que permitem a rejeição do manuscrito em escala. Será importante garantir que tais mudanças prejudiquem especificamente os envios de baixo valor e não desvantinem inadvertidamente a ciência da qualidade (9).
Infelizmente, em ambientes de publicação ou petróleo, os investimentos em conjuntos de dados de saúde em nível populacional que se destinam a permitir pesquisas de qualidade podem simplesmente representar um meio de produzir publicações com valor limitado ou nenhum científico. Depois que o uso de um conjunto de dados específico estiver “exausto”, as pressões sustentadas a serem publicadas provavelmente liderarão os autores e as fábricas de papel a passar para outros conjuntos de dados que podem ser explorados da mesma forma. O estudo da NHANES pode representar um desses conjuntos de dados, mas parece improvável que seja o último. Essa possibilidade destaca a necessidade de aumentos rápidos ou inesperados no número de manuscritos e publicações de baixo valor a serem comunicados amplamente e agidos o mais rápido possível (4), onde quer que isso ocorra.
O aumento do número rápido de artigos com valor limitado ou nenhum de valor científico exigirá claramente esforços direcionados, coordenados e sustentados por financiadores, instituições, editores e equipes de pesquisa individuais (Tabela 1). Como parte desses esforços, publicações raras, como a de Assim e colegas, são extremamente importantes. Esses estudos fornecem descrições oportunas e detalhadas de tendências de publicação em relação à publicação e aumentam a conscientização das oportunidades para escalar publicações em áreas que oferecem muitos tópicos individuais que podem ser abordados por diferentes autores e depois publicados em muitos periódicos ao longo do tempo (9). Ao aumentar criteriosamente os níveis de atrito na publicação científica, podemos garantir coletivamente que a pesquisa e os benefícios da IA superassem seu possível uso indevido e que a ficção científica seja encontrada apenas em romances, e não na literatura de pesquisa.
