Em artigo publicado dia 25 de junho passado, a revista Nature noticiou que a Universidade de Utrecht, na Holanda, está formalmente abandonando o fator de impacto como critério tanto para a contratação como para a promoção de docentes. Critérios exclusivamente numéricos focados, por exemplo, no fator-H ou na publicação de artigos em revistas de alto impacto serão substituídos em favor de critérios qualitativos como ações para a promoção da ciência aberta e o trabalho em grupo.
A despeito da discussão recorrente a respeito da adoção de critérios que levem em conta, de maneira mais cuidadosa, a qualidade do trabalho produzido na universidade, parece que as agências de fomento, os editais de concursos e as avaliações para ascensão na carreira ainda se agarram a alguns indicadores que destoam do discurso acadêmico que busca valorizar a qualidade e não a quantidade.
O edital para a solicitação de bolsas de produtividade em pesquisa junto ao CNPq (chamada CNPq n° 04/2021) tem como um de seus objetivos “incentivar o aumento da produção científica, tecnológica e de inovação de qualidade“. No item A dos critérios para julgamento lê-se: “relevância, originalidade e caráter inovador da contribuição científica, tecnológica, intelectual e artística do proponente ao longo da carreira, com ênfase na atividade recente (últimos 5 anos)” (os grifos são deste autor). A definição da qualidade e da relevância dos artigos é feita com base, principalmente, no fator de impacto das revistas conforme mostra o “Anexo 1 – Critérios dos Comitês de Assessoramento“.
Embora as diversas áreas de conhecimento empreguem critérios diferentes, é comum o uso da expressão “fator de impacto”, normalmente associado aos termos “qualidade” e “relevância”. Em algumas áreas, artigos publicados em revistas com maior fator de impacto recebem uma nota maior. Em outras, como Física e Astronomia, artigos com fator de impacto inferior a 1,5 são tipicamente desconsiderados.
O fator de impacto é um indicador bibliométrico criado por Eugene Garfield que atribui um número à revista com base nas citações dos artigos publicados. O cálculo é feito tomando-se o total de citações em determinado ano dos artigos publicados nos dois anos anteriores dividido pelo número de artigos publicados nesse mesmo período. Por exemplo:
A = Total de citações em 2020
B = Citações em 2020 dos artigos publicados em 2019 e 2018 (subgrupo de A)
C = Artigos publicados em 2019 e 2018
D = B/C = Fator de impacto de 2020
É verdade que qualquer critério utilizado para a definição da relevância de artigos, revistas ou pesquisadores apresentará algum tipo de falha. Mas é preocupante que agências de fomento adotem procedimentos de classificação que se baseiem no fator de impacto das revistas para fazer o julgamento da qualidade individual de artigos e, consequentemente, do pesquisador.
No artigo Free-riding on power laws: questioning the validity of the impact factor as a measure of research quality in organization studies Joel Baum, professor de gestão estratégica da Universidade de Toronto, analisou cinco revistas com fatores de impacto variando de 6,1 a 1,9 e verificou que este indicador é ruim para avaliar individualmente a qualidade de uma revista ou de um pesquisador.
Ao se atribuir um número para descrever uma grandeza qualquer, uma das primeiras coisas que se deve avaliar é se esse número representa realmente aquilo que se quer analisar. No caso do fator de impacto, antes mesmo de considerar se ele pode ser correlacionado com a qualidade, associá-lo individualmente a um artigo é algo que se mostra inadequado.
Um dos motivos é que o número de citações dos artigos de uma revista não se distribui em torno de uma média, tipo uma distribuição normal, ou gaussiana. No caso das cinco publicações analisadas por Baum, metade dos artigos publicados respondem por pelo menos 80% das citações do periódico. Em outras revistas, o total de citações atribuído a metade dos artigos pode chegar a 90%.
Ao inferir, portanto, a qualidade de um artigo baseada no fator de impacto estaremos super ou subestimando boa parte das análises, dado que apenas uma pequena fração dos artigos da revista está localizada em torno da média. Uma análise aleatória de quase mil artigos feita por Seglen mostrou ainda que mais do que 50% deles não recebem sequer uma citação por ano.
O artigo de Baum mostra ainda outro indicativo da inadequação do fator de impacto: a facilidade com que ele pode variar. Vamos chamar, respectivamente, de A1; A2; A3; A4 e A5 as revistas com fatores de impacto 6,1; 2,9; 2,6; 2,6 e 1,9, calculados utilizando-se o procedimento descrito mais acima neste texto. Se retirarmos de cada periódico somente os quatro artigos mais citados e recalcularmos os fatores de impacto, a ordem das revistas, organizada do maior para o menor fator, altera-se para A1, A4, A3, A2, A5. Retirando-se os 10% de artigos com mais citações da análise, a classificação muda para A1, A2, A4, A3, A5. E excluindo-se os 20% de artigos mais citados obtemos A1, A4, A3, A2, A5. Isso mostra que o fator de impacto do periódico apresenta uma grande dependência de um pequeno número de artigos publicados.
Conclui-se que os fatores de impacto associados às revistas não são representativos para a análise individual de artigos e, consequentemente, dos desempenhos dos pesquisadores. Portanto, por mais sofisticado que seja um procedimento, se ele utiliza um indicador que se mostra a priori inadequado para a análise daquilo que ser avaliar (a qualidade e a relevância) terá muito pouca chance de ser bom.
É compreensível que se busquem maneiras para facilitar a análise dos vários pedidos de bolsas, projetos, promoções etc., mas a avaliação da qualidade das publicações de um pesquisador é algo complicado. Atribuir demasiada importância a apenas um número parece não ser a melhor solução. A simplificação exagerada de algo complexo pode deixar de lado exatamente aquilo que se quer avaliar. Ou, como diria Woody Allen sobre o pragmatismo desejado, mas inadequado: “Fiz um curso de leitura dinâmica e li Guerra e Paz em 20 minutos. É sobre a Rússia”.
Imagem acima: iShutter.