Ontem, ao explorar a literatura sobre comunicação visible na pesquisa – um novo campo para mim – decidi testar a pesquisa profunda do Chatgpt. Fiquei curioso para ver o que ele poderia descobrir, então criei um immediate detalhado usando o ChatGPT 4.0 para esse fim.
Para aqueles que seguem meu weblog, você deve se lembrar que escrevi sobre a ChatGPT Deep Search quando ele se tornou disponível para usuários, destacando várias limitações para os pesquisadores acadêmicos.
Com essas advertências em mente, decidi recrutar a ajuda do Chatgpt Deep Search – mas com uma reviravolta experimental. Planejei usar instruções idênticas para gerar dois relatórios separados em momentos diferentes. Corri o primeiro immediate de ontem e recebi um relatório detalhado, que você pode acessar este hyperlink.
Após 24 horas, abri uma nova janela de bate -papo, executei o mesmo immediate novamente e gerei outro relatório detalhado, que você pode conferir (aqui).
Esse experimento veio a mim como eu estava pensando: e se dois pesquisadores, completamente inconscientes um do outro, estavam trabalhando no mesmo tópico e ambos confiaram na pesquisa profunda do Chatgpt para ajudar na revisão da literatura? Eles receberiam as mesmas referências? Nesse caso, a ferramenta geraria relatórios quase idênticos? Ou haveria diferenças perceptíveis? Essas perguntas me deixaram curioso, então decidi testá -lo.
Com base na minha experiência anterior com Pesquisa profunda Chatgpt– O que eu compartilhei em um submit anterior – tive alguns palpados sobre como isso poderia responder ao meu experimento. Mas eu não tinha muita certeza. Os resultados, no entanto, confirmaram minhas dúvidas.
Vamos começar com as fontes. O primeiro relatório levou seis minutos para gerar e incluiu 27 fontes, enquanto o segundo relatório – também gerado em seis minutos – teve uma contagem um pouco maior de 32 fontes.
Embora houvesse algumas diferenças nas fontes usadas, o que se destacou foi a distribuição desigual de citações dentro do texto. Ainda mais interessante, as fontes mais frequentemente referenciadas eram quase idênticas nos dois relatórios (por exemplo, Rougier & Droettboom, 2014).
Isso se alinha a algo que mencionei no meu primeiro submit sobre a ChatGPT Deep Search – ele extrai apenas um conjunto limitado de conhecimento acadêmico, especificamente conteúdo que não é pago. Isso significa que não tem acesso a muitos estudos acadêmicos qualitativos escondidos atrás dos paywalls.
Para ser justo, isso não é uma falha de busca profunda, mas um reflexo de como o conhecimento acadêmico está trancado por trás das barreiras financeiras – uma questão muito maior em nosso mundo capitalista (mas isso é uma discussão para outro dia).
Estilo de escrita
O tom de ambos os relatórios é distintamente acadêmicoe sua estrutura geral é surpreendentemente semelhante. Dê uma olhada nessas frases de abertura da introdução:
Relatório 1
“Elementos visuais, como gráficos, gráficos, diagramas e infográficos, desempenham um papel essential no aumento da compreensão e retenção dos resultados da pesquisa. Eles permitem que dados e conceitos complexos sejam entendidos rapidamente, apresentando padrões e relacionamentos que seriam difíceis de discernir apenas do texto ”(Divecha & Karande, 2023).
Relatório 2
“Elementos visuais como gráficos, gráficos e diagramas podem melhorar drasticamente o quão bem seu público entende e se lembra de suas descobertas de pesquisa. Em vez de percorrer um texto denso, os leitores podem compreender dados complexos ‘de relance’ através de visuais que destacam padrões ou tendências ”(Bobek & Tversky, 2016).
Embora o fraseado seja um pouco diferente, a idéia e a estrutura central são quase idênticas. Mas aqui está a questão actual: as fontes são completamente diferentes. No relatório 1, a reivindicação é atribuída a Divecha e Karande (2023)enquanto está no relatório 2, é Bobek & Tversky (2016).
Isso levanta uma preocupação importante – como o Chatgpt é uma pesquisa profunda, selecionando e atribuindo fontes? É genuinamente extrair referências que melhor apóiam o argumento ou está trocando citações, mantendo a estrutura intacta? Essa inconsistência no fornecimento é algo que os pesquisadores que dependem de revisões de literatura gerados pela IA precisam ser cautelosos.
Devo observar que ambos os trabalhos são factualmente relevantes para a idéia que está sendo expressa naquele parágrafo. No entanto, o que me intrigou foi o motivo pelo qual a ChatGPT Deep Search atribuia diferentes fontes a sentenças quase idênticas. Se o conceito subjacente permanecer o mesmo, por que trocar citações em vez de referenciar consistentemente o mesmo estudo?
Esse padrão se estende além da introdução – seções de ambos os relatórios seguem uma estrutura semelhante. O que a pesquisa profunda parece ter feito é parafrasear o conteúdo, mantendo a mesma organização geral, trocando em referências diferentes ao longo do caminho.
Obviamente, este não é um estudo formal, e minhas descobertas devem definitivamente ser tomada com um grão de sal. Mas eles levantam algumas questões interessantes sobre como as ferramentas de IA, como busca profunda, recuperar e atribuir fontes acadêmicas – e como os pesquisadores devem abordar esses resultados com um olho crítico.
Agora, aqui está a desvantagem dessa comparação.
Se dois pesquisadores estiverem trabalhando no mesmo tópico e ambos dependem de pesquisas profundas, provavelmente acabarão com relatórios muito semelhantes. Isso reforça algo que eu sempre disse sobre a IA generativa: eu pessoalmente não uso essas ferramentas para gerar relatórios factuais ou orientados a dados.
Se você é pesquisador – e eu sei que muitos de vocês estão aqui – você precisa fazer a leitura. Você não pode escrever de maneira significativa sobre um tópico se não estiver se envolvendo com o materials em primeira mão. Nenhuma ferramenta de IA pode substituir esse processo. Mesmo que a busca profunda fosse capaz de produzir um relatório impecável e bem referenciado, e daí? Você não aprenderia com isso. Você seria como alguém dando uma palestra sobre um assunto que mal se entende.
Entendo que esta é apenas a primeira versão do Deep Search, e o Openai pode refiná -la em algo ainda mais avançado – talvez algo que imite o trabalho de um estudioso experiente.
Mas, por mais sofisticado que seja, ele nunca deve ser visto como um atalho para a pesquisa acadêmica. A pesquisa não é apenas produzir um artigo; É sobre seu crescimento intelectual, reflexão profunda e envolvimento com idéias antes de contribuir para o campo. Essa parte – você simplesmente tem que fazer você mesmo.
Deixe -me ser claro: se você se aproximar da IA com o que eu chamo de “mentalidade de atalho”, você já está começando com o pé errado. Não importa o quão “inteligente” a IA se torne, deve sempre ser um co-pensador, um parceiro em tarefas cognitivas-nunca um substituto.
Agora, na parte boa!
Se você está mergulhando em um novo tópico de pesquisa, a pesquisa profunda pode ser um ótimo salto – um trampolim para você ir. No mínimo, ele aparecerá alguns trabalhos de pesquisa sólidos em suas referências e, a partir daí, você poderá aplicar o método da bola de neve – escolhendo as referências nesses trabalhos para descobrir estudos ainda mais relevantes. Quanto mais você for, mais você começará a reconhecer quais obras são frequentemente citadas, sinalizando a pesquisa seminal no campo.
Eu diria que a pesquisa profunda também pode ajudar a estruturar sua pesquisa, mas honestamente, o ChatGPT 4.0 e 4.5 já pode fazer isso – provavelmente mais rápido e mais eficaz.
Uma nota closing
Sei que minha escrita às vezes aparece como se eu fosse contra a IA, mas isso não poderia estar mais longe da verdade. Eu realmente acredito que somos incrivelmente afortunados como pesquisadores e acadêmicos de morar nesta época. A IA nos permite ultrapassar os limites de nossas habilidades cognitivas sem as mesmas restrições linguísticas que antes nos impediram. Mas a chave é usá -la de maneira cuidadosa e responsável – não como uma muleta, mas como um co-pensador Isso amplifica, em vez de substituir, nossos esforços intelectuais.
O submit O que acontece quando dois pesquisadores usam o ChatGPT Deep Search para o mesmo tópico? apareceu primeiro Tecnologia dos educadores.
