Começarei com o simples fato: ChatGPT não é uma resposta confiável para perguntas.
Tentar explicar por que do zero seria um trabalho pesado, mas, felizmente, Stephen Wolfram já fez o trabalho pesado para nós em seu artigo, “O que o ChatGPT está fazendo… e por que funciona?” (1) Em um tópico da PF discutindo este artigo, tentei resumir a mensagem principal do artigo de Wolfram da forma mais breve possível. Aqui está o que eu disse no meu put up lá (2):
ChatGPT não faz uso do significado das palavras. Tudo o que ele faz é gerar texto palavra por palavra com base nas frequências relativas das palavras em seus dados de treinamento. Trata-se de usar correlações entre palavras, mas isso não é o mesmo que correlações nas informações subjacentes que as palavras representam (muito menos causalidade). O ChatGPT literalmente não tem ideia de que as palavras que ele une representam alguma coisa.
Em outras palavras, ChatGPT não é projetado para responder perguntas ou fornecer informações. É explicitamente projetado não fazer essas coisas, porque, como disse na citação acima, só funciona com palavras em si; não funciona e nem sequer tem qualquer conceito sobre o Informação que as palavras representam. E isso o torna não confiável, por projeto.
Então, para dar alguns exemplos de equívocos que encontrei: quando você faz uma pergunta ao ChatGPT que você acha que seria respondida por uma Pesquisa Google, o ChatGPT é não fazendo isso. Quando você faz uma pergunta ao ChatGPT que você acha que seria respondida olhando em um banco de dados (como o Wolfram Alpha, por exemplo, faz quando você pergunta algo como “Qual é a distância de Nova York a Los Angeles?”), o ChatGPT é não fazendo isso. E assim por diante, para qualquer valor de “que você possa pensar que seria responsável por…”. O mesmo é verdade se você substituir “procurar informações em seus dados de treinamento” por qualquer uma das opções acima: o fato de, por exemplo, haver um grande número de postagens no Instagram nos dados de treinamento do ChatGPT não significa que se você perguntar uma pergunta sobre postagens do Instagram, ele analisará essas postagens em seus dados de treinamento e as analisará para responder à pergunta. Não vai. Embora haja, é claro, informações volumosas nos dados de treinamento do ChatGPT para um leitor humanoo ChatGPT não usa, nem mesmo compreende, nenhuma dessas informações. Todos que obtém de seus dados de treinamento são frequências relativas de palavras.
Então, por que as respostas do ChatGPT parecer confiável? Por que eles parecem vir de um processo que “conhece” as informações envolvidas? Porque nossos sistemas cognitivos são projetados para interpretar as coisas dessa forma. Quando vemos um texto que visible sintaticamente e gramaticalmente correto e parece como se estivesse afirmando algo com segurança, presumimos que deve ter sido produzido, se não por um ser humano actual, pelo menos por uma “IA” que está gerando o texto com base em algum tipo de conhecimento actual. Em outras palavras, ChatGPT tolos nossos sistemas cognitivos a atribuir-lhe qualidades que ele não possui.
Esta falha de segurança, por assim dizer, nos nossos sistemas cognitivos não é uma descoberta recente. Os vigaristas humanos usaram muitos dos mesmos truques ao longo da história humana. A única diferença com os vigaristas humanos é que eles estavam fazendo isso intencionalmente, enquanto o ChatGPT não tem nenhuma intenção e está fazendo isso como um efeito colateral de seu design. Mas o resultado é praticamente o mesmo: tome cuidado o leitor.
(1) https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/
