A Unesp possui aproximadamente 13 mil alunos matriculados em 139 programas de pós-graduação. Nos últimos anos, a Universidade tem se esforçado para entender o impacto socioeconômico dessas atividades como uma forma de mostrar à sociedade o resultado do investimento público, mas também como um caminho para avaliar e aprimorar os programas e suas pesquisas. Entender o real impacto dessas atividades ganha ainda mais relevância quando observamos que, no contexto brasileiro, 95% da produção científica é realizada dentro dos programas de pós-graduação.
“Nós participamos de uma sociedade bastante fragilizada e que necessita do conhecimento científico de base sólida para o seu desenvolvimento. É imperativo que a produção científica seja medida com precisão e avaliada com muita prudência”, apontou a vice-reitora da Unesp, professora Maysa Furlan, na abertura do I Fórum sobre Métricas de Impacto na Pós-Graduação. O evento reuniu, entre os dias 13 e 15 de setembro, em São Paulo, mais de uma centena de coordenadores e vice-coordenadores dos programas de pós-graduação da Unesp para discutir estratégias de como elaborar, identificar e incluir em seus planejamentos estratégicos métricas capazes de medir os efeitos da pós-graduação para a sociedade.
“Além da produção intelectual de artigos, livros, softwares e produtos tecnológicos, a criação de indicadores que avaliem o impacto desse conhecimento é crucial, e também um grande desafio para os programas de pós-graduação”, afirma a professora Maria Valnice Boldrin, que está à frente da Pró-Reitoria de Pós-Graduação, organizadora do evento. “A avaliação da entrega desse conhecimento e suas contribuições para a sociedade ainda não estão bem estabelecidas.”
A discussão sobre como medir e transmitir essa contribuição na sociedade não é necessariamente nova no meio acadêmico, mas ao longo dos últimos anos tem engajado cada vez mais gestores de universidades e agências de fomento do Brasil e do mundo. Dois momentos marcantes dessa tendência foram os Manifestos Dora (Declaração de São Francisco sobre Avaliação da Pesquisa), de 2012, e o Manifesto Leiden, em 2015. De forma geral, o primeiro questionava o uso exclusivo do fator de impacto por parte dos financiadores de pesquisa ou em processo de contratação de pesquisadores e profissionais da ciência. Já o segundo trazia um conjunto de dez propostas para aprimorar a medição do desempenho das pesquisas de forma a, por exemplo, contemplar diferenças entre áreas do conhecimento.
No Brasil, o movimento em busca de métricas que consigam traduzir o impacto da atuação da universidade pública brasileira para a sociedade considerando suas missões, objetivos e particularidades tem ganhado espaço nas instituições paulistas. Desde 2019, por exemplo, USP, Unesp e Unicamp, juntamente com a Fapesp, vêm trabalhando para elaborar tais indicadores por meio de monitoramento e análise de levantamentos internacionais, bem como pela capacitação dos gestores das instituições. O projeto, intitulado Métricas.edu, é coordenado pelo professor emérito da Faculdade de Economia, Administração e Contabilidade da USP Jacques Marcovitch.
Rankings internacionais não são a melhor opção
Marcovitch foi um dos palestrantes convidados para o evento organizado pela Pró-Reitoria de Pós-Graduação. Em sua fala, ressaltou que as métricas adequadas para avaliar o impacto das universidades não virão de fora das instituições, e que cabe a elas essa construção. Esta observação teve como alvo outra forte tendência no ensino superior global, que é a proliferação de rankings de avaliação universitária.
Para o docente da USP, nenhum dos rankings atuais é capaz de refletir a realidade das universidades brasileiras, uma vez que cada um deles foi concebida para uma finalidade distinta e emprega métricas elaboradas para alcançar estes objetivos específicos. Marcovitch explica que o ranking chinês, intitulado ARWU, foi elaborado para orientar os gestores na tarefa de encaminhar estudantes às universidades do país. Já os rankings britânicos QS e TH nasceram com vocação comercial, visando informar os pais sobre as opções para matricular seus filhos na universidade privada. “As universidades brasileiras não têm a opção de ficar de fora desses rankings. É importante conhecer e decodificar as métricas usadas pelos rankings, mas elas não devem ser determinantes para definição de nossas estratégias. Temos que criar nossas próprias métricas”, diz.
Marcovitch diz que, à medida que as instituições vêm ampliando a apresentação de seus resultados, surge uma preocupação por seus impactos. “Não se trata apenas de saber como os recursos estão sendo utilizados, mas se estão sendo utilizados de forma eficiente”, diz. Ele aponta como exemplo o significado do dado bruto do número de alunos formados por uma instituição. “Não basta aferir o número de egressos. É preciso saber aonde estão, qual a excelência da contribuição que dão à sociedade.”
Como exemplo dessa contribuição, Marcovitch citou em sua apresentação um estudo produzido pelo Núcleo de Economia Regional e Urbana (Nereus), da USP. Publicado em 2020, o levantamento revelou que profissionais egressos das três universidades públicas paulistas são mais produtivos e, portanto, geram mais riqueza e retorno ao estado, do que formandos de outras instituições que apresentam semelhanças em termos de nível educacional, idade, gênero, ocupação e tempo de emprego. Para estabelecer esta comparação, os pesquisadores usaram o valor do salário como indicativo de produtividade. Trata-se de um parâmetro comum nos estudos econômicos, uma vez que funcionários que produzem mais e em menor tempo costumam ser mais valorizados, obtendo melhores remunerações de seus empregadores.
Estratégia de estabelecer metas claras para avaliação posterior
Financiadoras de projetos de pesquisa, as agências de fomento também estão se envolvendo no aprimoramento de métricas para selecionar e analisar pesquisadores e propostas de projetos. Esta perspectiva foi apresentada por Connie McManus, assessora da diretoria científica da Fapespe ex-diretora de relações internacionais da Capes. Em sua fala, ela enfatizou o esforço da agência paulista em analisar projetos a partir dos impactos que eles possam proporcionar à sociedade. “Isso requer um conhecimento detalhado. O planejamento estratégico estabelece metas, e é a partir dessas metas que os resultados deverão ser avaliados”, diz.
Ela apresentou um conjunto de ferramentas que podem ajudar a desenvolver métricas que vão além dos produtos convencionais, os quais costumam girar em torno de parâmetros como publicação de artigos, capítulos, produção de patentes ou número de pós-graduandos formados. “Existe muito conhecimento sendo produzido e nem temos ideia dessa produção”, diz. Um dos exemplos é a base de dados Overton, criada em 2019, e que ajuda a mostrar a influência da pesquisa na elaboração de políticas governamentais a partir do acesso a milhões de documentos públicos provenientes de processos legislativos e dos atores que participam do processo de elaboração das leis. Na sua apresentação, Connie mostrou um levantamento, feito a partir do Overton, que apontou o uso de mais de nove mil artigos da produção científica brasileira em documentos de órgãos intergovernamentais como Organização Mundial da Saúde (OMS) ou a Organização das Nações Unidas para Alimentação e Agricultura (FAO). “O conhecimento produzido pelo Brasil está sendo usado pelo resto do mundo. Mas será que o Brasil está usando o conhecimento que produz?”, questiona.
O evento também trouxe a participação da professora Débora Menezes, diretora de avaliação de resultados e soluções do CNPq, e do professor Paulo Jorge Parreira, diretor de avaliação da Capes. O representante da agência federal citou a relação entre o número de mestres e doutores com o desenvolvimento tecnológico do país, apontando dados que mostram o Brasil com um número inferior de pós-graduados por 100 mil habitantes, quando comparado a diversos países da OCDE.
Parreira trouxe alguns resultados de um relatório produzido por um grupo de trabalho criado em 2019 para analisar o impacto e relevância econômica e social da pós-graduação brasileira. No documento, um questionário aplicado aos coordenadores das áreas da Capes mostrou que os produtos bibliográficos (aproximadamente 85%) são vistos como a principal contribuição de um programa de pós-graduação para a sociedade, seguidos por software/aplicativo (72%) e material didático e eventos (ambos com 70%).
O Fórum também reservou espaço para a troca de experiências entre os coordenadores de programas de diferentes áreas com boa avaliação no quesito “Impacto” da última avaliação da Capes, que foram apresentadas ao final do evento.
Imagem acima, da esq. para a dir.: Estevão Tomomitsu Kimpara, pró-reitor de Planejamento Estratégico e Gestão; Maria Valnice Boldrin, pró-reitora de Pós-graduação; Maysa Furlan, vice-reitora; Cesar Martins, chefe de gabinete; Edson Cocchieri Botelho, pró-reitor de Pesquisa; Raul Borges Guimarães, pró-reitor de Extensão Universitária e Cultura. Crédito: ACI.