Revisão por Pares: O Sistema Está Funcionando?

Minha posição antes de qualquer relativismo

Olha só: quando se fala em críticas à revisão por pares, existe o risco de que a discussão seja usada para um argumento mais amplo de desqualificação da ciência. Não é isso que estou fazendo aqui, e quero deixar isso claro desde o início.

A revisão por pares, com todas as suas falhas, é o melhor mecanismo que temos para validar o conhecimento científico antes da publicação. Ela é melhor do que a ausência de revisão. É melhor do que critérios editoriais sem envolvimento de especialistas da área. Críticar o sistema não significa defendê-lo menos.

O que significa é cobrar que ele funcione melhor.

O que a revisão por pares faz de fato

Na teoria, a revisão por pares garante que um artigo passou por avaliação crítica de especialistas antes de entrar no registro oficial da literatura. Ela filtra erros metodológicos óbvios, pede clareza onde o texto é ambíguo e verifica se a contribuição é genuína no contexto do que já foi publicado.

Na prática, o que ela realmente faz é mais modesto. A maioria dos revisores recebe um manuscrito e tem entre duas e oito semanas para avaliá-lo, enquanto mantém a própria agenda de pesquisa, ensino, orientação e outras obrigações. O trabalho de revisão não é remunerado. Não é considerado na maioria dos sistemas de avaliação de desempenho acadêmico. E é esperado de forma mais ou menos tácita como contribuição ao bem comum da área.

Nessas condições, é razoável esperar que todos os revisores de todos os artigos façam uma avaliação absolutamente rigorosa de todos os manuscritos que recebem? Não. E a literatura sobre qualidade da revisão por pares indica que a profundidade e rigor das avaliações variam enormemente.

As falhas estruturais que eu enxergo

O viés de publicação. Periódicos tendem a aceitar mais artigos com resultados positivos e estatisticamente significativos do que artigos com resultados nulos ou negativos. Isso cria um problema sério: a literatura publicada superestima sistematicamente a magnitude dos efeitos e a frequência de resultados positivos. Pesquisadores que replicam estudos e não encontram os mesmos resultados muitas vezes não conseguem publicar as replicações.

A lentidão. O ciclo de submissão, revisão, resposta aos revisores, nova rodada de revisão e decisão final pode levar de seis meses a dois anos, dependendo do periódico. Em áreas de rápida evolução, como tecnologia e saúde pública, isso significa que a literatura oficial está frequentemente desatualizada em relação ao conhecimento em desenvolvimento. A pandemia de Covid-19 tornou isso dolorosamente visível.

O anonimato e seus efeitos. O modelo de revisão cega protege revisores de retaliação quando dão avaliações negativas. Isso tem valor. Mas também permite que revisores usem o anonimato para favorecer concorrentes, bloquear resultados que contradizem suas próprias teorias ou fazer exigências descabidas. Sem accountability, o sistema depende inteiramente da boa-fé de cada revisor.

A concentração de poder editorial. Editoras comerciais grandes cobram taxas de acesso altíssimas de universidades e pesquisadores, enquanto o trabalho de produção de conhecimento, incluindo a própria revisão, é feito gratuitamente por pesquisadores. Os maiores periódicos do mundo têm margens de lucro impressionantes. O modelo de negócio depende do trabalho não pago de uma comunidade que depois não consegue pagar pelo acesso ao próprio conhecimento que produziu.

O que funciona e não deve ser jogado fora

Apesar das falhas, há algo que a revisão por pares faz que é genuinamente valioso: ela obriga o pesquisador a explicar o trabalho para alguém que não estava presente no processo.

Escrever um manuscrito sabendo que ele vai ser avaliado por outros especialistas muda a forma como você apresenta o método, os resultados e as conclusões. Você antecipa perguntas, reforça a justificativa das escolhas metodológicas, declara as limitações com mais clareza. Isso melhora o texto, mesmo que o revisor específico não seja particularmente rigoroso.

A revisão também cria, imperfeita que seja, um registro de que algum processo de avaliação aconteceu antes da publicação. Isso é relevante quando o artigo é citado por outros pesquisadores, usado como base de políticas públicas ou traduzido para consumo de divulgação científica.

O que precisa mudar

Tenho posições concretas sobre isso:

Primeiro, a revisão aberta, onde tanto autores quanto revisores são identificados, deveria ser mais comum. Não em todos os periódicos e para todos os fins, mas como alternativa disponível. A transparência diminui comportamentos de má-fé.

Segundo, artigos de replicação e resultados negativos precisam ter um mercado de publicação viável. Enquanto esses tipos de estudo forem sistematicamente preteridos, o viés de publicação vai persistir e distorcer a literatura em todas as áreas.

Terceiro, os repositórios de preprint, como arXiv, bioRxiv e SciELO Preprints, deveriam ser normalizados como etapa legítima da comunicação científica, com marcações claras de que o material ainda não passou pela revisão por pares. Isso acelera a circulação do conhecimento sem abandonar o processo de validação.

Quarto, as plataformas de revisão pós-publicação, onde outros pesquisadores podem comentar, questionar e verificar artigos já publicados, precisam de mais apoio institucional.

O que pesquisadores em formação podem fazer

Se você é mestranda ou doutoranda, você vai ser revisora em algum momento. Provavelmente mais cedo do que espera, porque orientadores frequentemente delegam pedidos de revisão a estudantes avançados.

Quando isso acontecer, faça bem feito. Leia com atenção. Escreva um parecer que você gostaria de receber: específico, fundamentado, construtivo onde é possível e direto onde é necessário. O sistema só melhora se cada peça funciona melhor.

Você também vai ser revisada. Quando receber pareceres, tente separar o que é crítica metodológica legítima do que é estilo do revisor. Nem todo pedido de mudança precisa ser atendido. Mas a maioria dos pareceres, mesmo os mais duros, tem algo que melhora o trabalho.

Um sistema imperfeito que vale a pena defender

Crítica não é traição. Cobrar mais do sistema de revisão por pares é cobrar mais da ciência. E cobrar mais da ciência, com honestidade sobre onde ela falha, é exatamente o que permite que ela continue sendo o melhor mecanismo que temos para construir conhecimento confiável.

O ceticismo sobre a revisão por pares que vem de dentro da comunidade científica é saudável. O ceticismo que vem de fora, instrumentalizado para desqualificar consensos científicos sobre temas como clima e vacinas, é diferente e merece resposta diferente.

As duas coisas podem existir ao mesmo tempo: defesa do processo e demanda por reforma dele.

Faz sentido?

O que a IA muda nessa equação

Não posso fechar esse texto sem mencionar a dimensão que está mudando rapidamente: o uso de IA tanto na produção de artigos quanto no processo de revisão.

Do lado da produção: se artigos podem ser parcialmente escritos com IA, a revisão por pares precisa ser mais rigorosa na verificação de consistência interna, validade dos dados e originalidade do argumento. O texto fluido não é mais evidência de trabalho cuidadoso.

Do lado da revisão: alguns periódicos já experimentam com IA assistindo revisores na identificação de inconsistências estatísticas, detecção de plágio e verificação de referências. Isso tem potencial para padronizar aspectos técnicos da avaliação.

Mas o julgamento sobre relevância, sobre contribuição original, sobre adequação teórica e sobre implicações do trabalho para o campo: isso ainda é trabalho humano. E provavelmente vai continuar sendo por muito tempo.

A revisão por pares vai mudar com a IA. A pergunta é se vai mudar para ser mais rigorosa e mais rápida, ou se vai criar novos problemas enquanto tenta resolver os antigos. Esse debate está acontecendo agora, e pesquisadores que entendem os dois lados, o da ciência e o da tecnologia, têm papel importante nele.