Durante a redação do artigo O lugar certo e o uso correto dos rankings universitários, tive a grata surpresa de receber um email do físico Paulo Murilo, professor emérito da Universidade Federal Fluminense, comentando sobre um texto que eu havia escrito sobre a recém-publicada lista Qualis da Capes. Dentre os assuntos que abordamos na troca de mensagens, gostaria de destacar a questão de como a discussão a respeito do uso inapropriado de métricas se arrasta há mais de trinta anos.
O longo debate acerca de um tema que, diga-se de passagem, afeta diariamente a comunidade acadêmica pode mostrar que essa mesma comunidade não considera essa numerologia um problema de fato – e, portanto, não é preciso resolvê-lo – ou, talvez, indicar uma incapacidade em encontrar a solução adequada para esse estorvo. O primeiro motivo para a demora seria completamente aceitável (ninguém é obrigado a concordar com qualquer opinião); já o segundo é realmente grave.
Um relato histórico de parte do debate acadêmico sobre o uso inapropriado de dados quantitativos está disponível online nos Boletins da Sociedade Brasileira de Física (SBF) – a edição mais antiga que pode ser acessada pelo site foi publicada em 1970. O Boletim da SBF ainda é publicado regularmente, atualmente com uma periodicidade semanal, e usado para noticiar eventos, pesquisas, oportunidades e fatos relacionados à física e à ciência em geral.
Houve um período, porém, em que o boletim da SBF publicou textos opinativos sobre assuntos diversos. Como anunciava a edição 000/2004: “com esta iniciativa, a Diretoria espera estar oferecendo um importante instrumento aos sócios, para que possam agilizar as discussões de interesse coletivo, e melhor implementar as ações dos sócios, e da própria Diretoria, bem como dar subsídios ao Conselho para suas decisões”. A Diretoria (mandato de 2003 a 2005) tinha como presidente e vice-presidente, respectivamente, os físicos Adalberto Fazzio e Paulo Murilo Castro de Oliveira; este último era também o editor do boletim.
Quer se concorde ou não com as várias opiniões apresentadas na publicação semanal, os artigos tinham a qualidade de serem diretos e objetivos, algo não tão comum ao costumeiro rame-rame acadêmico. Uma pequena amostra desses textos aparece a seguir. Os trechos selecionados tratam essencialmente do uso desenfreado de dados e métricas que não refletem a qualidade daquilo que está sendo avaliado – assunto que tenho abordado ad nauseam em vários veículos.
O boletim de 001/2005 publicou o texto “Perigo de avaliação baseada somente em números”, de autoria de Coraci P. Malta, onde se lê: “Faz vários anos que foi instituído o uso de indicadores (número de trabalhos, número de citações, se fez estágio no exterior etc.) para julgar candidatos, e esse é o principal motivo para o baixo nível observado [em candidatos a concursos]. Ao invés de buscar o conhecimento, desde cedo os alunos buscam obter boas estatísticas. Ao orientador também interessa mais aumentar as estatísticas (maior número de publicações e maior número de alunos formados) pois é isso que garante promoção”.
Paulo Murilo, no boletim 014/2006, dispara: “vejamos o caso do parâmetro de impacto. […] Não é, definitivamente, uma medida da qualidade de cada artigo lá publicado. Confundir um índice calculado da média de uma população com o comportamento de um de seus indivíduos é um erro primário”. Em outro trecho, o autor critica a política da Capes (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior): “[A Capes] inventou uma classificação das revistas científicas (Qualis A, B, denominação pedante) segundo os seus parâmetros de impacto. Sobretudo, cometeu o erro já citado de confundir a avaliação individual com a média da população (média exógena, porque leva em conta os artigos publicados por todos os pesquisadores de todo o mundo) […] Até agora, não ouvi falar de reformulação da estratégia geral de avaliação dos cursos de pós-graduação, de se promover um retrato detalhado de como estamos e para onde queremos ir. É isto que falta: a definição do rumo a seguir.”
Apesar dos 17 anos decorridos desde a publicação acima, ainda não tivemos uma grande mudança no panorama de avaliações nacionais – com o aumento no número de pedidos e com a proliferação dos mais diversos rankings é bem possível que tenha piorado. Recentemente, abordei os temas do fator de impacto e da lista Qualis em dois artigos (aqui e aqui). No mesmo boletim 014/2006, Paulo Murilo emenda: “e o CNPq? A história parece a mesma. No entanto, como a avaliação feita no CNPq é centrada no pesquisador, portanto estritamente individual, a prática do ‘conta-paper’ se torna ainda mais absurda, e merece alguns comentários. Vou deixar minha opinião bem clara: a única maneira confiável de avaliar um pesquisador é ler sua produção científica, seus artigos e livros publicados. É assim que fazem as revistas científicas para decidir o que publicar, mas cada uma segue seus critérios particulares, diferentes entre si”. O título do artigo, “Medir distâncias com barômetros, massas com galvanômetros, voltagens com cronômetros”, coincidentemente faz uma brincadeira que incluí em um de meus textos (“Uma régua não é um instrumento válido para medir pressão atmosférica, por exemplo”).
No boletim 001/2008 foi publicada uma carta aberta para a SBF, de autoria de Constantino Tsallis. Nessa carta, o autor faz diversas ponderações a respeito dos critérios de avaliação do Comitê de Física e Astronomia do CNPq. De acordo com o autor: “Como um ‘banco central’ da física brasileira, o Comitê vai impondo pautas e critérios que rapidamente tornam-se imperiosas regras não escritas, várias das quais (des)orientam as atividades criativas, inovadoras e pedagógicas do país. Mencionarei algumas destas ‘regras’ impostas pelo Comitê. Todas elas têm, como as teorias de campo médio, um lado positivo, simplificador e prático. Entretanto, todas elas, quando aplicadas de modo inflexível – como está de fato acontecendo o tempo todo! – são, no fundo, essencialmente erradas e nocivas”. A carta termina com a seguinte frase, em caixa alta: “JUSTIÇA NÃO SE FAZ EM MÉDIA, SE FAZ CASO A CASO”.
Em resposta à mensagem acima, o boletim 003/2008 trouxe um texto de autoria de Antonio Martins Figueiredo Neto que, dentre várias ponderações, confrontava um dos trechos colocado no parágrafo anterior: “Em particular, alegações de que o CA-FA (des)orienta atividades criativas, inovadoras e pedagógicas são graves e, antes de mais nada, precisam ser comprovadas! Quais os dados concretos que mostram isso? Onde estão nossos colegas (ou, utilizando o paralelo taxonômico utilizado por um membro de nossa comunidade, nossos ornitorrincos) equivalentes a Albert Einstein, Richard Feynman, Murray Gell-Mann, Lars Onsager que estão fora do sistema de bolsas de PQ? Quem são eles?”.
George Matsas, no boletim 039/2009, pontuava o exagero na exigência de critérios quantitativos em detrimento à avaliação da qualidade dos candidatos à bolsa de produtividade do CNPq: “como já oficialmente divulgado, para concessão da bolsa PQ (bolsa de produtividade em pesquisa, disponibilizada pela agência apenas para candidatos que se destacam pela qualidade do seu trabalho) ‘tem sido exigida uma média anual de dois trabalhos qualis alfa ou beta’. Apesar de ser também dito que esta ‘não é uma regra fixa havendo situações em que a qualidade da revista, número de autores, e o tipo de trabalho são considerados relevantes’, na prática sobra pouco tempo para se levar em conta aspectos qualitativos na semana na qual o CA (o comitê do CNPq responsável por avaliar pedidos de bolsas nas áreas de física e astronomia) se reúne para decidir sobre as bolsas PQ. Isso poderia ser parcialmente resolvido, se durante a reunião anual os membros do CA não perdessem a maior parte do tempo ouvindo relatos sobre solicitantes a respeito dos quais nada (ou quase nada) tem a dizer (a menos de opiniões baseadas em aspectos numéricos)”.
É preciso ressaltar que, no curso dos pelo menos trinta anos ao longo dos quais tem sido travado esse debate, foram implementadas algumas alterações no sentido de tentar reduzir as distorções apontadas acima. Tais iniciativas, porém, nem chegaram perto de começar a responder aos questionamentos e problemas que ainda hoje marcam o cotidiano dos profissionais de pesquisa no país. O principal objetivo deste artigo não é apresentar uma lista exaustiva das manifestações sobre rankings e métricas ocorridas no Boletim da SBF nas duas primeiras décadas deste século, mas sim convidar o leitor a refletir, através da evocação dos artigos lá publicados, sobre a questão do uso exagerado dos indicadores numéricos. Uma fala atribuída a Charles Goodhart, economista, diz que “quando a métrica se torna uma meta, ela deixa de ser uma boa medida”. No âmbito da formulação de políticas públicas, é fundamental compreender que os números devem ser utilizados como um meio para alcançar metas específicas, e não como um fim em si mesmos.
Marcelo Takeshi Yamashita é assessor-chefe da Assessoria de Comunicação e Imprensa da Unesp. Foi diretor do Instituto de Física Teórica (IFT) no período de 2017 a 2021.