IA & Ética

O que são alucinações da IA e por que são um perigo na academia

Alucinações de IA não são bugs ocasionais. São uma característica estrutural de como modelos de linguagem funcionam. Entenda o mecanismo e por que a academia é especialmente vulnerável.

alucinacoes-ia integridade-academica ia-pesquisa etica-pesquisa

Não é bug. É como o sistema funciona.

Vamos lá. Quando pesquisadores descobrem que o ChatGPT inventou uma referência bibliográfica inteira, a reação mais comum é tratar isso como um erro técnico que vai ser corrigido nas próximas versões. Como se fosse um defeito que os desenvolvedores ainda não consertaram.

Não é. Alucinação em modelos de linguagem não é uma falha a ser corrigida: é uma consequência estrutural de como esses modelos funcionam. Entender por quê é o que permite usar essas ferramentas com consciência real dos riscos, em vez de ser surpreendido por eles.

Como modelos de linguagem geram texto

Para entender por que alucinações acontecem, é necessário entender minimamente o que modelos de linguagem fazem.

Um modelo de linguagem é treinado em quantidades enormes de texto. A partir desse treinamento, ele aprende a prever qual é o próximo token (palavra ou parte de palavra) que deve aparecer dado o contexto anterior. Quando você faz uma pergunta, o modelo gera uma resposta calculando, token por token, o que estatisticamente é mais provável que venha a seguir.

O problema é que “estatisticamente mais provável” e “factualmente correto” são coisas diferentes. O modelo não tem acesso a uma base de fatos verificados que consulta antes de responder. Ele gera texto que soa coerente com o padrão do que viu durante o treinamento.

Quando você pede uma lista de artigos sobre um tema, o modelo sabe como artigos científicos são formatados (autor, título, periódico, ano, DOI). Ele também tem acesso a muitos artigos reais no treinamento. Mas quando não encontra na memória um artigo específico que responda à sua pergunta, o sistema gera um que soa plausível: combina nomes de autores reais com títulos que fazem sentido para o tema, com periódicos que existem, com anos credíveis. O resultado parece uma referência real. Não é.

Por que a academia é especialmente vulnerável

O contexto acadêmico tem características que amplificam os riscos das alucinações de IA.

Primeiro, a credibilidade das referências é central. Uma referência bibliográfica falsa em um artigo científico não é apenas um erro: é um problema de integridade. Se o argumento foi construído sobre uma fonte que não existe, todo o trecho que depende dela está sem sustentação. E a banca, o revisor ou qualquer leitor que tente localizar a referência vai encontrar o problema.

Segundo, textos acadêmicos usam linguagem técnica específica que os modelos reproduzem com muita fidelidade. Um título inventado com terminologia correta da área vai parecer mais convincente do que um erro em linguagem coloquial, porque o modelo aprendeu os padrões do campo.

Terceiro, pesquisadores sob pressão de tempo podem não verificar referências com o cuidado necessário. Especialmente quando o modelo apresenta a lista com confiança aparente, sem nenhum sinal de incerteza.

Os tipos mais comuns de alucinação em contexto acadêmico

Referências que não existem. O caso mais documentado. Título plausível, autor que existe mas não escreveu aquilo, periódico real, DOI inválido ou ausente. A referência parece legítima até você tentar localizá-la.

Dados e estatísticas inventados. O modelo cita “estudos que mostram que X% dos pesquisadores fazem Y” sem que esse estudo exista. Especialmente perigoso quando o dado parece razoável e confirma o argumento que se quer fazer.

Citações atribuídas incorretamente. O autor existe, o livro ou artigo existe, mas a afirmação atribuída a ele não está no texto original. O modelo combinou autor real com afirmação que “soa como” algo que aquele autor diria.

Fatos históricos distorcidos. Datas, eventos, sequências causais que são parcialmente corretos mas têm elementos alterados de forma que parece plausível.

Resumos imprecisos de artigos reais. O artigo existe, mas o resumo que o modelo fez distorce as conclusões ou ignora limitações importantes. Esse é particularmente sutil porque o artigo real pode ser localizado, mas o conteúdo reportado não é fiel.

O protocolo de verificação que não tem atalho

A única forma de eliminar o risco de referências alucinadas é verificar cada referência gerada por IA antes de usar.

O processo é simples: busque o título exato no Google Scholar ou na base de dados relevante para a área (PubMed para ciências da saúde, Scopus ou Web of Science para multidisciplinar, Scielo para produção nacional). Se o título não aparecer, tente buscar por autor e tema. Se o DOI existir, acesse diretamente. Se a referência não for localizável por nenhum desses caminhos, descarte.

Essa verificação leva 2 a 3 minutos por referência. É tempo bem investido comparado ao custo de descobrir o problema durante a defesa ou na revisão por pares.

Para dados e estatísticas citados pela IA, o processo é o mesmo: localize a fonte primária e verifique se o dado está lá e se foi reportado da forma que o modelo descreveu.

Quando o risco é maior

O risco de alucinação é maior em algumas situações específicas.

Perguntas sobre literatura muito especializada ou muito recente, onde o modelo tem menos dados de treinamento e maior probabilidade de extrapolar. Pedidos de listas longas de referências, onde a probabilidade de alguma ser inventada cresce com o tamanho da lista. Modelos sem acesso à internet habilitado, que dependem exclusivamente do que foi visto no treinamento. Uso sem verificação imediata, quando a referência vai direto para o texto sem que ninguém confira.

Ferramentas que operam sobre bases de dados reais (como o Elicit, o Semantic Scholar ou o NotebookLM com documentos carregados) têm risco estruturalmente menor, porque não geram referências do nada: recuperam documentos que existem. O risco de imprecisão nos resumos ainda existe, mas o risco de referência inexistente é muito menor.

O que isso significa na prática

Saber sobre alucinações não é argumento para não usar IA na pesquisa. É argumento para usar com consciência do que precisa ser verificado.

IA generativa é útil para organizar ideias, estruturar argumentos, reformular parágrafos, identificar gaps em um raciocínio. Esses usos têm baixo risco de alucinação porque não dependem de fatos externos verificáveis.

Para localização de literatura e verificação de dados, a postura segura é tratar qualquer output de IA como ponto de partida para busca, nunca como fonte final. A ferramenta sugere, você verifica.

Essa divisão de papéis, entre o que a IA faz bem e o que precisa de verificação humana, é o núcleo do uso ético e responsável que o post sobre como usar IA na escrita acadêmica com ética aprofunda. E se a dúvida for sobre ferramentas específicas, o post sobre IA para revisão de literatura detalha quais têm menor risco para esse uso específico.

Perguntas frequentes

O que é uma alucinação de inteligência artificial?
Alucinação é o termo usado para descrever quando um modelo de linguagem gera informação factualmente incorreta com aparência de confiança. Isso inclui referências bibliográficas que não existem, dados que foram inventados, citações atribuídas a autores que não as fizeram e fatos históricos distorcidos ou fabricados. O modelo não 'mente' intencionalmente: ele gera o texto que estatisticamente 'soa certo' dado o contexto, e às vezes esse texto estatisticamente plausível não corresponde à realidade.
Como identificar se uma referência gerada por IA é real?
Buscando diretamente. Toda referência gerada por IA deve ser verificada antes de uso: busque o título exato no Google Scholar, Semantic Scholar ou na base de dados relevante para a área. Se não aparecer, busque o DOI se houver. Se ainda não encontrar, busque o autor e veja se publicou algo no tema. Se a referência não for localizável por qualquer desses caminhos, provavelmente não existe. Esse processo leva minutos e elimina o risco.
Existe alguma ferramenta de IA que não alucina referências?
Ferramentas que operam sobre bases de dados bibliográficas reais (como Semantic Scholar, Elicit ou Consensus) têm risco muito menor porque recuperam artigos existentes em vez de gerá-los. O risco de alucinação é mais alto em modelos de linguagem geral (ChatGPT, Gemini, Claude) quando usados para listar referências, especialmente sem acesso à internet habilitado. Mesmo ferramentas com busca na web habilitada podem cometer erros. A verificação independente continua sendo necessária.
<