IA, CAPES e Qualis: Como a Avaliação da Pós Vai Mudar

A CAPES, o Qualis e a chegada da IA: o que sabemos (e o que não sabemos)

Vamos lá: a avaliação da pós-graduação brasileira é um sistema com décadas de existência, construído a partir de indicadores que refletem uma certa visão do que é fazer ciência. Número de artigos em periódicos qualificados, formação de mestres e doutores, captação de recursos, cooperação internacional. Esses são os eixos centrais da avaliação quadrienal da CAPES.

A IA chegou a esse cenário de um jeito que ainda está sendo processado. E a pergunta que ouço com frequência de pesquisadores é: o que isso vai mudar?

A resposta honesta é: não sabemos exatamente. Mas há algumas coisas que podemos observar com base no que está acontecendo agora, sem inventar políticas que ainda não existem.

O que a CAPES já está discutindo (com cautela)

A CAPES tem documentado, nos últimos anos, a necessidade de adaptar seus critérios de avaliação a um cenário de produção científica que está mudando rapidamente. Isso inclui questões como ciência aberta, dados abertos, software como produto de pesquisa, e mais recentemente, o papel da IA na produção e na avaliação de trabalhos.

No entanto, não existe, até onde tenho conhecimento, uma política formal publicada pela CAPES especificamente sobre IA na avaliação dos programas. O que existe são debates nas comissões de área, orientações gerais de organismos internacionais como COPE e ICMJE sobre autoria e IA, e experiências isoladas de programas que estão construindo suas próprias diretrizes.

Digo isso porque é importante resistir à tentação de anunciar mudanças que ainda não aconteceram. A CAPES está olhando para isso. As decisões formais levam tempo.

O que provavelmente vai mudar no médio prazo

Mesmo sem políticas formais anunciadas, há algumas tendências que parecem razoavelmente claras a partir do que está acontecendo globalmente.

A verificação de originalidade vai se tornar mais sofisticada. Ferramentas de detecção de texto gerado por IA já estão sendo integradas aos sistemas de verificação de originalidade que periódicos e conferências usam. O Qualis avalia periódicos, não artigos individuais, mas à medida que os periódicos adotam políticas mais rígidas sobre declaração de uso de IA, isso vai afetar o que conta como produção qualificada.

Artefatos de pesquisa vão ganhar mais peso. A ciência aberta já está influenciando as avaliações. Programas que disponibilizam código, dados e protocolos de pesquisa publicamente tendem a ter melhor avaliação de transparência. A IA pode acelerar essa tendência ao tornar mais fácil documentar e compartilhar processos de pesquisa.

A qualidade per paper pode ganhar peso sobre o volume. A preocupação com “salami slicing” (fragmentar uma pesquisa em múltiplos artigos menores para aumentar números) é antiga na academia. Com IA tornando mais fácil produzir texto em volume, a pressão por indicadores que capturem qualidade em vez de quantidade deve aumentar.

O problema do Qualis e o incentivo à quantidade

O Qualis atual cria incentivos que não são neutros. Como a avaliação dos programas considera o volume de publicações em periódicos qualificados, há uma pressão estrutural para publicar muito, em periódicos de bom estrato, mesmo que os trabalhos não tenham sempre a profundidade que justificaria aquela classificação.

A IA intensifica esse problema. Se fica mais fácil produzir artigos com apoio de IA, o risco é que a quantidade de produção suba sem que a qualidade correspondente acompanhe. E sistemas de avaliação que medem volume vão ser enganados por isso.

Essa é uma das razões pelas quais o debate sobre reformar os critérios de avaliação da pós-graduação está ganhando urgência. Não é culpa da IA. Mas a IA torna o problema mais visível.

O que muda para pesquisadores individuais

Se você é mestrando ou doutorando, o que isso significa para você de forma concreta?

Primeiro, a sua produção será avaliada pelos mesmos critérios que estão em vigor agora. As mudanças na avaliação da CAPES são graduais e levam tempo para se materializar em políticas formais.

Segundo, construir uma reputação de pesquisador que declara o uso de IA com transparência é uma posição que vai se tornando mais valiosa à medida que o campo amadurece. Ser o pesquisador conhecido por trabalho sólido, mesmo com IA, é melhor do que ser o pesquisador questionado por trabalho de origem duvidosa.

Terceiro, a qualidade da sua formação não é avaliada pelo Qualis. O Qualis avalia os periódicos onde você publica. Sua formação é avaliada na capacidade de fazer pesquisa com rigor, de argumentar com evidências, de contribuir de forma original para um campo. Isso não muda com a chegada da IA.

A questão da autoria em artigos com IA

Organizações internacionais como COPE (Committee on Publication Ethics) e ICMJE (International Committee of Medical Journal Editors) têm publicado orientações claras sobre IA e autoria: ferramentas de IA não podem ser listadas como autoras de artigos científicos. A responsabilidade intelectual e ética é sempre humana.

O que isso significa na prática é que, ao publicar um artigo onde a IA foi usada de forma substantiva, o pesquisador precisa declarar esse uso (cada periódico está definindo como isso deve ser feito) e assume total responsabilidade pelo conteúdo. Não dá para usar IA e depois dizer “mas foi a ferramenta que errou”.

Essa responsabilidade é importante. E é também uma proteção: se você declara o uso, você está sendo transparente sobre o processo. Se algo estiver errado no conteúdo, isso é avaliado como erro do autor, não como prova de uso inadequado de IA.

O impacto da IA na produção científica e o que os sistemas de avaliação precisam responder

Há uma tensão real que os sistemas de avaliação como o da CAPES vão precisar responder nos próximos anos: se IA facilita a produção de mais texto acadêmico, como distinguir volume de contribuição?

Essa pergunta não tem resposta simples, mas há algumas direções que os sistemas de avaliação de outros países já estão experimentando. Nos EUA e no Reino Unido, há debates crescentes sobre incluir impacto real da pesquisa como critério: não só onde foi publicado, mas se foi utilizado por outros pesquisadores, por formuladores de políticas, por sistemas industriais. A citação é um proxy ruim para impacto real, mas é mensurável. O impacto real é difícil de medir, mas é o que importa.

No Brasil, o Qualis tem passado por revisões nos critérios de avaliação. A tendência global é de sistemas que valorizam menos o número bruto de publicações e mais a qualidade demonstrada por certos indicadores. O que esses indicadores serão num contexto de IA disseminada ainda está sendo construído.

O que é certo é que o sistema vai mudar. E pesquisadores que construíram sua carreira em cima de volume de publicações em periódicos de estrato intermediário podem ter surpresas quando os critérios mudarem.

O impacto na formação: o que muda para quem orienta

Há uma dimensão da avaliação da pós-graduação que o Qualis e os indicadores bibliométricos não capturam bem: a qualidade da formação de pesquisadores.

Um programa que publica pouco mas forma mestres e doutores que fazem pesquisa sólida, que são admitidos em bons programas de doutorado, que têm impacto nos seus campos, está fazendo algo valioso que os indicadores atuais subavaliaram historicamente.

A IA pode afetar esse indicador mais silencioso de formas que ainda não são totalmente visíveis. Se alunos chegam ao mercado de trabalho acadêmico sem saber escrever bem porque sempre tiveram IA escrevendo por eles, sem saber buscar literatura criticamente porque sempre tiveram IA resumindo, isso vai aparecer no trabalho deles como pesquisadores. Não imediatamente, mas vai aparecer.

Os orientadores que tomam a formação a sério, que insistem que o aluno desenvolva as habilidades fundamentais mesmo quando há atalhos disponíveis, estão fazendo um investimento de longo prazo que os indicadores de curto prazo não vão capturar. Mas que vai fazer diferença.

O que vale mais do que seguir métricas

Vou terminar com uma perspectiva que pode parecer óbvia mas que precisa ser dita diretamente.

A avaliação CAPES, o Qualis, os índices H, os fatores de impacto: todos esses são proxies. Eles tentam medir algo que é difícil de medir diretamente: o valor científico e social da pesquisa. E nenhum proxy é perfeito.

A melhor estratégia de longo prazo para qualquer pesquisador não é otimizar métricas. É fazer pesquisa que vale a pena. Pesquisa que resolve problemas reais, que constrói conhecimento que outros pesquisadores vão usar, que forma pesquisadores capazes.

A IA pode ser uma ferramenta nesse caminho. Mas as métricas de avaliação, incluindo o Qualis, vão continuar sendo o que são: indicadores imperfeitos de uma prática que é essencialmente humana.

Se quiser entender melhor como organizar a sua pesquisa com rigor independente do contexto de avaliação, os recursos sobre metodologia e o Método V.O.E. são bons pontos de partida.

Acompanhar o que está acontecendo nessa discussão, tanto no Brasil quanto nos sistemas de outros países, é uma forma de se preparar para o que vem. Não para correr atrás das métricas, mas para entender o campo onde a pesquisa acontece e tomar decisões informadas sobre onde publicar, como construir a trajetória e quais colaborações fazem sentido.

O sistema de avaliação vai continuar evoluindo. As ferramentas de IA vão continuar mudando. O que não muda é o valor de uma pesquisa bem feita: com pergunta clara, metodologia rigorosa, honestidade nos resultados e contribuição genuína para quem vai ler depois de você. Isso resiste a qualquer reforma do Qualis.