Detector de plágio com IA: o que funciona e o que não funciona

Detecção de plágio e detecção de IA são coisas diferentes

Vamos lá. Há uma confusão crescente entre duas coisas que, embora relacionadas, são tecnicamente distintas: detectores de plágio e detectores de conteúdo gerado por IA.

Essa confusão importa porque as implicações éticas e os limites técnicos de cada um são diferentes. E porque decisões sobre integridade acadêmica que deveriam ser tomadas com cuidado estão sendo tomadas com base em ferramentas que a maioria das pessoas usa sem entender como funcionam.

Como funcionam os detectores de plágio tradicionais

Os detectores de plágio tradicionais, como Turnitin, iThenticate e Compilatio, funcionam por comparação. Eles comparam o texto enviado com um banco de dados de textos: outros trabalhos enviados para a plataforma, páginas da internet indexadas, periódicos científicos assinados pela empresa.

Quando encontram correspondência de trechos, marcam com uma porcentagem de similaridade. Essa porcentagem indica o quanto do texto do documento coincide com outros textos no banco de dados.

O que essa porcentagem não indica: se há plágio. Dois textos podem ter 30% de similaridade porque usam as mesmas citações, a mesma terminologia técnica obrigatória ou os mesmos trechos metodológicos padrão da área. E um texto pode ter 5% de similaridade e ainda assim conter ideias plagiadas de forma parafraseada que o sistema não captura.

A interpretação da porcentagem de similaridade requer julgamento humano. O sistema não faz esse julgamento. Ele apenas aponta onde há correspondência.

Como funcionam os detectores de conteúdo gerado por IA

Os detectores de IA (GPTZero, Copyleaks AI Detector, Originality.ai, entre outros) funcionam de forma completamente diferente. Eles não comparam o texto com um banco de dados. Eles analisam padrões estatísticos do próprio texto.

A ideia por trás dessas ferramentas é que o texto gerado por modelos de linguagem tem características mensuráveis: perplexidade (o quanto o texto é previsível dado um modelo de linguagem) e burstiness (variação no comprimento e na estrutura das frases). Texto humano tende a ter mais variação. Texto de IA tende a ser mais uniforme estatisticamente.

O problema é que essa distinção não é confiável em escala individual. Fatores como estilo de escrita pessoal, grau de edição pós-geração, língua do texto e uso de ferramentas de revisão podem alterar significativamente os resultados. Autores com escrita mais formal e regular (como muitos acadêmicos não nativos em inglês) frequentemente são sinalizados como IA, mesmo escrevendo todo o texto por conta própria.

O reverso também acontece: texto gerado por IA e significativamente editado por um humano pode passar desapercebido.

Os limites reais que a academia precisa conhecer

Há uma pressão crescente sobre instituições para “resolver” o problema do uso de IA em trabalhos acadêmicos com ferramentas técnicas. E há um problema sério com essa abordagem: as ferramentas disponíveis hoje não são suficientemente precisas para sustentar decisões disciplinares.

A taxa de falso positivo dos detectores de IA é documentada e não trivial. Isso significa que estudantes que não usaram IA podem ser acusados com base nos resultados de uma ferramenta. E as consequências em processos disciplinares acadêmicos podem ser graves.

Alguns estudos (publicados em conferências de processamento de linguagem natural e em periódicos de educação) testaram detectores de IA com textos de autores humanos e encontraram taxas de acerto que variam muito dependendo do modelo testado, do idioma, da área do conhecimento e do nível de edição do texto.

O ponto central: nenhum detector de IA disponível atualmente é confiável o suficiente para ser usado como evidência única em um processo disciplinar.

O que a academia deveria fazer em vez de depender dos detectores

Essa é uma posição que defendo claramente: o problema do uso não declarado de IA na escrita acadêmica não vai ser resolvido por ferramentas técnicas de detecção. Vai ser resolvido por políticas claras, por práticas pedagógicas que valorizem o processo e por uma conversa honesta sobre o papel da escrita na formação.

Políticas claras e explícitas: a instituição precisa definir o que é permitido, o que é proibido e o que é permitido com declaração. Isso varia razoavelmente por disciplina, por tipo de avaliação e por objetivo pedagógico. Uma política única para tudo não funciona.

Avaliações que valorizem o processo: quando um trabalho é avaliado apenas pelo produto final, é mais fácil substituir o processo por IA. Avaliações que incluem rascunhos, apresentação oral, defesa do texto e demonstração de compreensão tornam o produto final menos substituível.

Discussão explícita sobre IA em sala de aula: alunos e orientandos precisam entender o que está em jogo quando usam IA sem transparência, não só o risco disciplinar, mas a questão de formação. O que você aprende ao escrever que não aprende ao revisar texto gerado por outro?

Foco na declaração, não na detecção: algumas revistas científicas já exigem que os autores declarem se e como usaram IA no processo de escrita ou análise. Essa abordagem de transparência tem mais integridade do que a corrida armamentista entre geradores de texto e detectores.

O lugar da IA honesta na escrita acadêmica

Usar IA de forma declarada, como ferramenta de apoio à revisão, à tradução, à organização de ideias, não é o mesmo que submeter texto gerado por IA como trabalho próprio. Essa distinção importa.

A escrita acadêmica existe porque o ato de escrever é um ato de pensar. Quando você escreve, você testa se entendeu, identifica o que ainda não está claro, desenvolve sua capacidade de argumentação. Terceirizar essa escrita para qualquer ferramenta, com ou sem declaração, significa abrir mão desse processo.

Isso não é uma posição conservadora contra tecnologia. É uma posição sobre o que a formação acadêmica pretende produzir. Se o objetivo é que o estudante desenvolva pensamento crítico e capacidade de argumentação, então a escrita precisa ser, em grau substancial, do estudante.

O quanto de suporte externo (humano ou tecnológico) é legítimo é uma pergunta que cada área, cada instituição e cada contexto precisa responder com honestidade. Mas a resposta não vai vir dos detectores de IA.

A conversa que a academia evita ter

Há uma razão pela qual a corrida por detectores de IA ganhou tanto espaço: é mais fácil implementar uma ferramenta técnica do que ter conversas difíceis sobre currículo, avaliação e formação.

Perguntar “como nossos currículos e avaliações precisam mudar diante da disponibilidade de IA?” é mais trabalhoso do que instalar um software de detecção. Mas é a pergunta certa.

A IA não vai embora. As ferramentas vão continuar melhorando. O que a academia pode e deve fazer é pensar com seriedade sobre o que quer preservar do processo de formação, porque isso, e não a tecnologia em si, é o que define que tipo de profissional e que tipo de pesquisadora a pós-graduação pretende formar.

Fechando

Detectores de plágio e detectores de IA são ferramentas com limitações reais que a maioria das pessoas que as usa não conhece. Usá-las como árbitros definitivos de integridade acadêmica é uma decisão mal fundamentada.

O caminho mais sólido passa por políticas claras, práticas pedagógicas que valorizem o processo, e uma conversa honesta e contínua sobre o papel da escrita e da IA na formação acadêmica. Ferramentas técnicas podem ser parte dessa resposta, mas não podem ser a resposta inteira.

Se você quer entender melhor como navegar o uso de IA na pesquisa com integridade, você encontra mais reflexões sobre isso em /sobre e em outros posts da categoria IA e Ética aqui no blog.