Para pesquisador do IRI, criação de listas não resolve problemas das instituições de ensino
Em 2016, a Universidade de São Paulo vive um constante sobe-e-desce de posições em rankings nacionais e internacionais de avaliação de instituições de ensino. Após ganhar 23 posições no QS (Quacquarelli Symonds) World University, mas também ter caído drasticamente no Times Higher Education e, até mesmo, ter perdido a liderança do Ranking Universitário Folha (RUF) pela primeira vez desde que ele foi criado, fica difícil compreender o que exatamente é avaliado por essas ferramentas. Afinal, elas refletem a realidade da Universidade de São Paulo? O Jornal do Campus conversou com Justin Axel-Berg, pesquisador da USP que estuda a eficácia destes rankings, para entender melhor como eles funcionam na prática.
Jornal do Campus: Qual a importância dos rankings de avaliação?
Justin Axel-Berg: Os rankings são muito importantes num certo “jogo de prestígio”, pois um bom posicionamento neles pode ajudar a universidade a captar mais recursos internacionais, ou mesmo atrair alunos e professores mais talentosos. Além disso, eles são uma forma de demonstrar o valor das universidades para o público, já que é muito difícil pra quem não está dentro da academia entender o valor do que a ela faz. Então essa é uma forma pela qual a USP pode mostrar para a sociedade que vale a pena investir na educação pública. Mas, ainda assim, os rankings não são as melhores formas de avaliação de desempenho de uma universidade.
JC: Quais são os principais problemas relativos à forma de avaliação que é feita pelos rankings?
JAB: Eles são bastante limitados. Em qualquer ranking que é construído é necessário excluir um monte de fatores que fazem parte de um organismo dinâmico como uma universidade. Se você conversar com 15 pessoas sobre o que é uma universidade perfeita você terá 15 respostas diferentes. Ela “deveria diminuir a desigualdade social”, “deveria preparar pessoas pro mercado de trabalho”, “deveria produzir ciência voltada à sociedade”. A universidade não é uma coisa que pode ser reduzida a uma lista de métricas com um número lá no fim que define se ela é boa ou ruim. Os rankings querem reduzir as universidades a uma coisa muito banal, que é uma fábrica de ciência e de excelência, e isso não é o que uma universidade deve ser. A USP tem uma dupla função, de projetar o Brasil no mundo mas também de gerar conhecimento para fazer do Brasil um país mais desenvolvido. Nem toda universidade tem essa função. As elites americanas, por exemplo, não têm a responsabilidade social que a USP tem. A gente ainda precisa achar o nosso modelo ideal, mas isso não vai ser feito através de um ranking.
JC: O que costuma diferenciar os diversos rankings de avaliação existentes hoje?
JAB: Os que são mais populares, como o Quacquarelli Symonds (QS) e o Times Higher Education, são uma espécie de guias de estudo para alunos prospectivos de graduação e pós-graduação. Esses são os menos confiáveis, apesar de populares. Depois, existem os mais objetivos, que são baseados em informações bibliométricas, como o Shanghai. Há também o Webometrics, o Leiden Ranking, mas esses na verdade são mais acadêmicos. Além desses também tem outros que estão se tornando mais populares agora e que são formulados através de benchmarking, ou seja, eles não fornecem um ranking universal, mas te possibilitam definir quais são as métricas de desempenho que prefere aplicar.
JC: Por que os mais populares são menos confiáveis?
JAB: Principalmente porque eles tendem a depender muito de notas dadas por reputação, e isso é uma coisa altamente subjetiva, até mesmo porque a maioria dos acadêmicos não têm extremo conhecimento das universidades ao redor do mundo. Conhece uma, duas ou três no máximo. Sem esse conhecimento íntimo fica bem complicado de se fazer uma avaliação justa.
JC: Você acredita que a avaliação que é feita da Universidade de São Paulo, por esses rankings, reflete a realidade dela?
JAB: De uma certa forma sim, porque mesmo que haja uma grande variação de posição entre anos e rankings diferentes, há uma visão que é de fato verdade em qualquer métrica: a USP produz muita pesquisa, porém de baixo impacto. Esse fato, se comparado com seus pares internacionais, é o atual maior problema nas universidades brasileiras. É algo que está melhorando aos poucos, mas que não se compara à melhora de universidades chinesas, indianas ou russas, por exemplo, nos últimos anos.
JC: E por que isso acontece?
JAB: É falta de incentivo. As agências federais que temos no Brasil, como a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), incentivam muito a quantidade de produção e pouquíssimo a qualidade, então isso criou uma cultura de que é mais premiado publicar 10 artigos razoáveis num ano do que um que seja realmente bom. Penso que a USP tem tudo pra ter sucesso, mas todos os incentivos financeiros estão indo pra direção errada.
JC: Quais foram os principais fatores que determinaram a colocação da USP nos rankings de 2016?
JAB: É muito difícil responder isso porque todos esses rankings não publicam suas métricas, seus dados brutos. É um segredo da empresa. A maioria deles existe para gerar dinheiro a quem os publica, ao invés de ser realmente um instrumento de comparação e aprendizado entre universidades do mundo inteiro. O Shanghai, excepcionalmente, surgiu com este intuito, e por isso ele é muito mais objetivo, muito mais transparente. Mas os mais populares não são assim, buscam por lucro. De qualquer forma, acho que a USP não melhorou o que se esperava. Nada mudou muito em termos de produção, em termos de impacto. No Times Higher deste ano, por exemplo, a USP teve uma queda bem expressiva, principalmente no quesito de reputação, porque houve algumas mudanças na composição do ranking, relativas a um grande aumento de correspondentes da Ásia, região que não possui muitos vínculos com a USP, e uma diminuição de correspondentes da América do Norte, local de estreita relação com a Universidade. Após isso, de repente, todas as instituições asiáticas subiram muito rápido e todo o resto, das outras áreas do mundo, caiu abruptamente. Mas, além disso, existe também algo que é característico destes rankings que são variações estatisticamente insignificantes mas que se tornam variações de posição enormes. Então é bem possível que alguma pequena variação estatística de repente se transforme em uma mudança de 30 ou 40 posições, por exemplo.
JC: Por que a USP ainda se mantém à frente de todas as outras universidades brasileiras, mesmo com sua atual crise?
Por seu tamanho, por sua história, a USP é capaz de atrair os melhores talentos. Isso acabou levando a USP a uma certa inércia nos últimos anos, uma acomodação, porque não é necessário, a ela, se esforçar para ser a melhor no seu ambiente. A crise orçamentária da USP talvez irá afetá-la, com relação aos rankings, daqui a dois ou três anos. Por isso a Universidade precisa começar a pensar num uso mais inteligente de recursos. Mas o prejuízo que a USP sofrerá provavelmente não será tão grande quanto aquele que sofrerão as universidades de fora de São Paulo. Outros estados não possuem um sistema rígido como o paulista. As outras instituições dependem muito de investimento federal, através de órgãos como o Capes ou o CNPq (Conselho Nacional de Desenvolvimento Científico e Tecnológico), que são afetados pela crise econômica do Brasil. Então vemos que essa realidade só vai aumentar ainda mais a desigualdade entre o estado de São Paulo e o resto do país.