IA para Análise Bibliométrica e Cientométrica

A bibliometria que você conhecia está mudando

Vamos lá. A análise bibliométrica sempre foi uma ferramenta de quem gosta de padrões. Você coleta um conjunto de artigos sobre um tema, analisa citações, mapeia colaborações, identifica periódicos centrais, rastreia a evolução conceitual de um campo. Tudo isso com planilhas, bases de dados exportadas, e software especializado.

Esse trabalho, que antes demorava semanas para uma quantidade razoável de artigos, agora pode ser feito em horas com apoio de ferramentas computacionais mais sofisticadas, incluindo funcionalidades baseadas em inteligência artificial. E isso abre possibilidades reais, mas também cria armadilhas que valem a pena examinar antes de sair usando tudo que aparece.

Esse post não é um tutorial. É uma reflexão sobre o que muda, o que continua igual e o que você precisa pensar antes de incorporar IA nas suas análises bibliométricas e cientométricas.

O que é bibliometria e o que é cientometria, sem confundir os dois

Antes de qualquer coisa: esses dois termos aparecem frequentemente juntos, mas têm focos diferentes.

A bibliometria, em sentido estrito, analisa a produção documental. Ela conta publicações, mede citações, mapeia redes de coautoria, identifica os periódicos mais influentes dentro de um campo. O foco é no documento como unidade de análise.

A cientometria vai além. Ela estuda a própria ciência como atividade social e institucional. Investiga como os campos se formam, como as comunidades científicas se organizam, como o conhecimento se difunde, quais fatores afetam a produtividade científica. Usa métricas bibliométricas, mas as insere num contexto analítico mais amplo.

Na prática, muitos pesquisadores usam os dois termos como sinônimos, e boa parte das revisões bibliométricas que você encontra nos periódicos de educação, saúde coletiva, administração e outras áreas misturam os dois sem muita distinção. Isso não é necessariamente um erro grave, mas é uma imprecisão que pode afetar como você enquadra sua metodologia.

O que as ferramentas baseadas em IA estão conseguindo fazer

Ferramentas como VOSviewer, Bibliometrix (para R), CiteSpace e Litstudy (Python) já existem há anos e são os padrões do campo. O que está mudando é que algumas delas estão incorporando algoritmos de aprendizado de máquina para tarefas que antes eram manuais, e que plataformas de IA generativa estão sendo integradas aos fluxos de trabalho de pesquisadores.

Do que a IA está ajudando de forma concreta:

Processamento de grandes volumes de dados. Analisar 5.000 artigos manualmente seria inviável para qualquer pesquisador individual. Com suporte computacional, incluindo funcionalidades de processamento de linguagem natural, é possível identificar temas, extrair palavras-chave e mapear tendências em conjuntos que seriam impossíveis de processar de outra forma.

Identificação de redes temáticas. Algoritmos de clustering conseguem agrupar artigos por similaridade temática com base nos títulos, resumos e palavras-chave, sem que o pesquisador precise fazer essa categorização manualmente. Isso é especialmente útil em campos emergentes onde as fronteiras temáticas ainda não estão estabelecidas.

Visualização interativa. Mapas de cocitação, redes de coautoria e diagramas de fluxo temático que antes exigiam configuração manual agora são gerados de forma mais automática por algumas ferramentas.

Sumarização e interpretação auxiliar. Alguns pesquisadores estão usando modelos de linguagem para ajudar a interpretar os padrões encontrados nas análises. “Aqui estão os dez clusters temáticos da minha análise bibliométrica. O que cada um parece representar?” É uma forma de auxiliar a interpretação, especialmente quando o pesquisador não é especialista em todos os subcampos identificados.

O que não mudou e não vai mudar tão cedo

Olha só: a IA não substitui o conhecimento do campo. Esse é o ponto que mais vejo sendo ignorado nas discussões sobre automação da pesquisa.

Uma análise bibliométrica bem feita exige que o pesquisador saiba o que está olhando. Quando o algoritmo agrupa 400 artigos num cluster que ele chama de “Cluster A”, alguém precisa examinar os títulos, autores e palavras-chave desse cluster e dizer: esse cluster representa a tradição de pesquisa crítica em X campo, que tem como referência central tal abordagem teórica, e está crescendo porque determinado evento geopolítico ou científico aconteceu.

Isso não é possível de ser feito por um modelo de linguagem sem o contexto que só um pesquisador inserido no campo tem. E é exatamente aqui que entra o risco: quando o pesquisador usa IA para gerar essa interpretação sem verificá-la, sem ter repertório para questionar o que a ferramenta sugere, o resultado pode parecer sofisticado nas visualizações mas ser analiticamente vazio.

A bibliometria com IA precisa de um pesquisador mais qualificado, não menos. Você precisa saber fazer perguntas melhores às ferramentas e avaliar criticamente as respostas que elas dão.

A questão da transparência metodológica

Se você usa IA em qualquer parte da sua análise bibliométrica, isso precisa estar descrito na seção de metodologia. Não de forma evasiva (“utilizamos ferramentas computacionais de apoio”) mas de forma específica: quais ferramentas, para quais tarefas, com quais parâmetros, e como os resultados foram verificados ou validados pelo pesquisador.

Essa exigência não é burocrática. É o que permite que outros pesquisadores avaliem a robustez da sua análise e, eventualmente, reproduzam ou contestem seus resultados. Uma análise bibliométrica em que ninguém sabe exatamente o que foi feito é uma análise que não pode ser avaliada com rigor.

Essa questão da reprodutibilidade é especialmente importante porque os algoritmos de clustering usados nessas análises não são determinísticos em todos os casos. O mesmo conjunto de dados pode gerar resultados ligeiramente diferentes dependendo dos parâmetros configurados. Explicitar isso não enfraquece sua pesquisa. Omitir enfraquece.

Um ponto sobre o uso de IA generativa nesse contexto

Usando o Método V.O.E. como referência de organização do trabalho intelectual, existe uma distinção importante entre usar IA para processar informação e usar IA para produzir análise.

Processar informação: extrair palavras-chave de um corpus, gerar visualizações, identificar padrões de citação. Aqui a IA é uma ferramenta de suporte ao trabalho do pesquisador, como uma calculadora ou um processador de texto.

Produzir análise: interpretar o que esses padrões significam, construir argumento sobre o que o campo revela, conectar os achados com a literatura existente. Aqui a IA pode sugerir, mas o pesquisador precisa decidir, verificar e assumir responsabilidade pelo raciocínio.

O problema que surge nas revisões que recebo é que muitos pesquisadores fazem a distinção ao contrário: delegam a interpretação para a IA e assumem responsabilidade apenas pela parte técnica. Isso não funciona. A parte técnica é replicável. A análise é o que dá valor científico ao trabalho.

O que muda na revisão sistemática com suporte bibliométrico

Uma aplicação crescente da bibliometria é como pré-etapa de revisões sistemáticas. Antes de mergulhar em dezenas de artigos para revisão completa, o pesquisador usa análise bibliométrica para mapear o campo, identificar os artigos mais citados, entender quais autores são centrais, e tomar decisões mais informadas sobre quais leituras priorizar.

Nesse contexto, a IA ajuda na triagem e organização inicial. Mas a revisão em si, com leitura crítica, extração de dados e síntese, ainda demanda leitura humana. Existe um conjunto de ferramentas que automatiza partes dessa triagem (como Rayyan, Covidence, e algumas funcionalidades do Elicit), mas cada uma opera com limitações que o pesquisador precisa conhecer antes de usar.

Minha recomendação é testar qualquer ferramenta dessas num conjunto pequeno de artigos que você já conhece bem. Só assim você consegue avaliar se ela está acertando ou errando na triagem, e com que frequência.

A pergunta que fica

Olha, a bibliometria com suporte de IA não é uma ameaça à integridade científica por si mesma. É uma ferramenta. Como qualquer ferramenta, o problema não está nela, mas em como é usada.

O que eu noto nas conversas sobre esse tema é que a empolgação com a velocidade das análises muitas vezes vem acompanhada de uma redução no cuidado com a interpretação. E aí temos um problema. Porque a bibliometria que impressiona pelo volume de artigos analisados, mas que não tem nada a dizer sobre o campo além de confirmar o óbvio, não está contribuindo para o avanço do conhecimento. Está produzindo aparência de ciência.

Se você vai usar IA na sua análise bibliométrica ou cientométrica, use. Mas use sabendo o que a ferramenta pode e não pode fazer, transparecendo isso na metodologia, e colocando seu próprio julgamento como o árbitro final do que os dados significam.

Seu nome está no artigo. A responsabilidade pela análise também.