Detector de IA: o que você precisa saber antes de confiar

O problema com “o detector disse que é IA”

Olha só: toda vez que aparece um texto acadêmico suspeito, alguém corre para um detector de IA como se ele fosse uma máquina de verdade.

“Coloquei no ZeroGPT e deu 87%.” “O Turnitin sinalizou como AI-generated.” “Passei no Copyleaks e identificou 100% IA.”

E a conclusão que vem depois: o texto é desonesto, o estudante usou IA sem declarar, há evidência de integridade acadêmica comprometida.

O problema é que essa lógica pressupõe que os detectores de IA são ferramentas confiáveis. E eles não são, pelo menos não da forma que a maioria das pessoas acredita.

Esse texto não é um argumento a favor do uso irresponsável de IA em textos acadêmicos. É um argumento a favor de entender o que os detectores realmente fazem, e o que eles não fazem, antes de usá-los como evidência de qualquer coisa.

O que os detectores de IA realmente medem

Detectores de IA não detectam “IA” de forma direta. Não existe um marcador intrínseco no texto que diz “isso foi escrito por uma máquina”.

O que eles fazem é analisar padrões estatísticos no texto e verificar se esses padrões se assemelham ao que modelos de linguagem de grande escala (como GPT-4, Claude, Gemini) tendem a produzir.

Dois conceitos técnicos são centrais aqui: perplexidade e burstiness.

Perplexidade mede o quanto o modelo ficaria “surpreso” com as escolhas de palavras no texto. Textos gerados por IA tendem a ter perplexidade baixa: o modelo faz escolhas previsíveis, usa as palavras que estatisticamente eram mais prováveis naquele contexto. Textos humanos tendem a ter perplexidade mais alta: fazemos escolhas incomuns, usamos expressões idiossincráticas, quebramos padrões.

Burstiness mede a variação na complexidade das frases. Textos humanos tendem a ter mais variação: misturamos frases curtas com frases longas, parágrafos simples com parágrafos mais densos. Textos de IA tendem a ter menos variação: as frases costumam ter comprimento e complexidade mais uniformes.

Esses são indicadores úteis. Mas não são provas.

Por que os detectores erram

Os detectores erram por razões estruturais, não apenas técnicas.

Falsos positivos. Estudantes que escrevem em inglês como segunda ou terceira língua tendem a usar estruturas mais simples, mais previsíveis, com menos variação. Pesquisas mostraram que esses estudantes são acusados de usar IA com frequência desproporcional, simplesmente porque escrevem de forma que o detector interpreta como baixa perplexidade.

O mesmo acontece com textos científicos em certas áreas que usam vocabulário técnico padronizado e estrutura formal rígida. Textos de engenharia, direito e medicina tendem a ter padrões linguísticos que detectores confundem com IA.

Falsos negativos. Textos gerados por IA que foram editados, expandidos e revisados por humanos ficam muito mais difíceis de detectar. Cada camada de edição humana altera os padrões estatísticos. Uma pessoa que usa IA como rascunho e reescreve substancialmente vai passar despercebida por boa parte dos detectores.

A evolução dos modelos. Os detectores precisam ser treinados nos padrões dos modelos existentes. Mas os modelos mudam constantemente. Novas versões produzem texto com características diferentes, e os detectores ficam sistematicamente atrasados.

Faz sentido? Um detector de IA que foi treinado no GPT-3 vai ter dificuldade com texto do GPT-4. E um treinado no GPT-4 vai ter dificuldade com os modelos que vêm depois.

O que pesquisas mostram sobre a confiabilidade

Estudos independentes sobre detectores de IA publicados em periódicos acadêmicos têm mostrado resultados preocupantes.

Taxas de falso positivo variam significativamente entre plataformas e dependem do tipo de texto. Textos escritos por não-nativos de inglês têm taxas de falso positivo muito mais altas do que textos de falantes nativos.

Textos do século XIX, de grandes escritores humanos, foram testados e identificados como “possivelmente gerados por IA” por algumas ferramentas, simplesmente porque esses autores usavam estruturas formais que os detectores interpretam como baixa perplexidade.

Esses resultados não invalidam os detectores como indicadores. Mas invalidam seu uso como prova.

Por que o debate sobre detectores importa para estudantes e pesquisadores

Você pode estar pensando: “isso é um problema das instituições, não meu.”

Não é bem assim.

Se você é estudante e entrega um texto legítimo que é acusado de ser gerado por IA por um detector, você é o afetado diretamente. E se a sua instituição usa esses detectores como evidência em processos disciplinares, você pode enfrentar consequências sérias por algo que não fez.

Se você é professor ou orientador e usa detectores para avaliar a integridade do trabalho dos seus estudantes, você precisa saber o que essas ferramentas podem e não podem fazer para não tomar decisões injustas baseadas em dados imprecisos.

Conhecer os limites dos detectores de IA não é um argumento a favor de usar IA sem declarar. É um argumento a favor de tomar decisões informadas, tanto para quem escreve quanto para quem avalia.

O que acontece quando detectores identificam texto incorretamente

Casos documentados de estudantes acusados de usar IA com base em resultados de detectores geraram debate intenso em comunidades acadêmicas internacionais.

Em alguns casos, estudantes internacionais foram notificados de violação de integridade acadêmica com base exclusivamente em resultados de detectores. Alguns desses casos foram revertidos depois de análise mais cuidadosa, mas o dano à reputação e ao processo acadêmico do estudante já havia ocorrido.

Em outros casos, estudantes precisaram provar que não usaram IA, o que é essencialmente uma prova de um negativo, uma das situações mais difíceis de lidar em qualquer processo investigativo.

A lição prática aqui é dupla. Para estudantes: manter evidências do processo de escrita (rascunhos, notas, histórico de edições) é uma forma de proteção. Para professores e avaliadores: um resultado de detector não é evidência suficiente para abrir um processo de integridade acadêmica sem investigação adicional.

A diferença entre vigilância e educação

Existe uma tensão fundamental no debate sobre detectores de IA que reflete uma tensão maior sobre como as instituições de ensino entendem seu papel.

A abordagem baseada em vigilância diz: vamos detectar e punir quem usa IA de forma não autorizada. Os detectores são ferramentas dessa abordagem.

A abordagem baseada em educação diz: vamos criar contextos de aprendizagem em que o uso inadequado de IA não é atraente, porque as avaliações valorizam processos que ferramentas não conseguem simular, e vamos conversar abertamente sobre o que constitui uso responsável.

As duas abordagens não são mutuamente exclusivas. Mas quando a vigilância domina, ela costuma gerar comportamentos que contornam o sistema sem endereçar o problema de aprendizagem real. Quando a educação domina, ela constrói capacidade real de usar ferramentas de forma crítica e responsável.

Detectores de IA, no melhor cenário, são instrumentos de vigilância com limitações conhecidas. Não substituem uma conversa honesta sobre o papel da IA na produção de conhecimento acadêmico.

O que isso significa para a integridade acadêmica

Se os detectores não são confiáveis como evidência, como lidar com o uso de IA na academia?

A resposta mais honesta é: redefinindo o que constitui evidência de integridade acadêmica e redesenhando avaliações.

Evidência de processo. Rascunhos, anotações, conversas com o orientador, histórico de edições de um documento. Se um estudante tem evidências de processo, isso é evidência de que o trabalho foi desenvolvido. Um texto entregue pronto, sem rascunhos, sem histórico de desenvolvimento, é mais suspeito do que qualquer resultado de detector.

Avaliações que privilegiam aplicação em contexto. Textos que exigem referência a discussões em aula, a materiais específicos, a experiências pessoais documentadas são intrinsecamente mais difíceis de delegar a uma IA sem que fique evidente a falta de personalização.

Políticas claras e conversas abertas. Quando as instituições têm políticas claras sobre o que é e o que não é permitido no uso de IA, os estudantes sabem o que esperar. A opacidade cria espaço para desonestidade. A clareza cria base para responsabilização.

A questão ética que os detectores não resolvem

Existe uma questão mais fundamental que os detectores de IA não conseguem resolver, mesmo que fossem perfeitos.

O que é desonestidade acadêmica no contexto de ferramentas de IA?

A resposta parece óbvia: usar IA quando não é permitido. Mas as situações reais são mais complexas.

Usar IA para corrigir gramática e ortografia é diferente de usá-la para gerar o argumento central. Usar IA para sugerir referências é diferente de usá-la para escrever o referencial teórico. Usar IA para formatar citações é diferente de usá-la para produzir a análise de dados.

Essas distinções não podem ser resolvidas por um detector. Precisam ser endereçadas por políticas claras, conversas abertas e critérios de avaliação que levem em conta o processo, não apenas o produto.

É nessa direção que a academia precisa se mover. Detectores podem ser parte do sistema de vigilância, mas não podem ser o núcleo da resposta para um problema que é, fundamentalmente, sobre como aprendemos a aprender em um mundo onde ferramentas de IA estão disponíveis.

Se você quer entender melhor como usar IA de forma responsável e ética na sua pesquisa acadêmica, a página sobre IA e ética pode ser um ponto de partida. E se a questão for como desenvolver uma prática de escrita acadêmica que seja genuinamente sua, o Método V.O.E. oferece um caminho que parte das suas próprias ideias e estruturas.

Detector de IA ou não, o que faz um texto seu é o processo pelo qual você chegou a ele.