Muito longe de serem definitivas, as classificações dos cursos superiores têm diferentes critérios, mudanças de metodologia, interesses e visões distintas
Por Larissa Fernandes e Marcella Affonso
No último dia 9 de maio, a revista britânica Times Higher Education (THE), responsável pela produção de um dos principais rankings universitários internacionais, divulgou os resultados da sua última classificação anual dos países emergentes. Tão logo os dados foram disponibilizados, notícias de que instituições brasileiras caíram novamente no ranking da THE começaram a circular na imprensa. A USP, apesar de continuar com a melhor colocação entre as universidades do Brasil, passou da 13ª para a 14ª posição, a menor desde o início da série, em 2014. Mas o que isso significa, de fato?
Como o nome sugere, os rankings universitários classificam em ordem numérica instituições de ensino superior a partir de critérios de avaliação pré-definidos – os chamados “indicadores” –, funcionando como critérios de qualidade. Contudo, apesar de serem ferramentas úteis para nortear diferentes tomadas de decisão, como a escolha de uma faculdade por estudantes ou a contratação de funcionários por empregadores, essas classificações não revelam verdades absolutas e devem ser analisadas com atenção – tanto individualmente quanto na comparação com outros rankings.
Conforme aponta a jornalista e organizadora do Ranking Universitário Folha (RUF) Sabine Righetti, as metodologias e os indicadores avaliados diferem de um sistema para o outro, atendendo a objetivos distintos. Uma das consequências é uma mesma instituição receber diferentes classificações em um determinado ano, como ocorreu em 2017 com a USP, que passou a Universidade Estadual de Campinas (Unicamp) no ranking da THE restrito aos países de economias emergentes, mas perdeu o primeiro lugar para ela em listagem realizada pela mesma revista referente apenas aos países da América Latina.
Ambos são sub-listagens do principal ranking produzido pela revista, o World University Rankings, e adotam os mesmos 13 indicadores, mas conferem pesos diferentes a cada um: no caso do ranking referente aos países emergentes, a excelência em pesquisa e em ensino é menos relevante do que os vínculos com a indústria e as perspectivas internacionais; na listagem que analisa os países latino-americanos, ocorre o contrário.
Segundo Sabine, é preciso notar também as eventuais mudanças de metodologia que ocorrem em um mesmo ranking de um ano para o outro. “Mudança metodológica é algo comum em avaliação, o problema é comparar edições diferentes se a metodologia tiver mudado”, observa. A esse respeito, vale mencionar que o ranking do THE divulgado neste mês de maio passou a avaliar 50 instituições a mais do que em sua última edição – de 300, o número subiu para 350.
Sistemas de avaliação nacionais.
No Brasil há três grandes sistemas cujos resultados funcionam como parâmetros de qualidade do ensino superior: o Ranking Universitário Folha (RUF), realizado pela Folha de S.Paulo; a avaliação de cursos superiores do Guia do Estudante; e o Sistema Nacional de Avaliação da Educação Superior (Sinaes) – este é realizado pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), vinculado ao Ministério da Educação (MEC). Apesar de não classificarem em ordem numérica cursos e instituições, esses dois últimos sistemas de avaliação devem ser analisados com o mesmo cuidado exigido na análise dos rankings.
Criado em 2012, o RUF é um produto jornalístico que rankeia anualmente universidades e cursos superiores com base em dados nacionais e internacionais e em pesquisas de opinião, conferindo-lhes notas de 0 a 100, Considerando a mais recente metodologia, no caso do ranking de universidades são avaliadas 195 instituições públicas e privadas a partir de cinco indicadores: pesquisa, ensino, mercado, internacionalização e inovação.
A pesquisa recebe o maior peso dentre os critérios de avaliação, representando 42% da nota; internacionalização e a inovação são os aspectos menos relevantes, equivalendo a apenas 4% do total cada um.
Já no segundo caso, são avaliados os 40 cursos com o maior número de ingressantes no país, considerando apenas os indicadores de ensino (64%) e de mercado (36%) – além dos cursos de universidades, o ranking abarca os de centros universitários e de faculdades. No que diz respeito ao mercado de trabalho, os dados são obtidos, unicamente, através de uma pesquisa de opinião com empregadores.
Conforme Sabine aponta, as universidades não fornecem dados sobre egressos e evasão de alunos – ou seja, não dão informações a respeito dos graduados no mercado de trabalho. O RUF usa os dados que temos para mostrar o que as universidades estão fazendo e ajuda a mostrar os dados que faltam”, afirma a funcionária da Folha.
A avaliação do Guia do Estudante é mais antiga, de 1990, e classifica anualmente cursos presenciais com base em uma pesquisa de opinião realizada com professores, coordenadores de curso e diretores de departamento, os chamados “pareceristas”. Trata-se de uma avaliação que reflete “a imagem que o curso tem perante a comunidade acadêmica”.
A pesquisa, que classifica os cursos em bons (três estrelas), muito bons (quatro estrelas) e excelentes (cinco estrelas). considera três critérios de avaliação – projeto didático pedagógico, corpo docente e infraestrutura – e confere o mesmo peso a todos eles.
Dos três sistemas, o único realizado oficialmente é o Sinaes, que atualmente leva em consideração, principalmente, quatro indicadores de qualidade, todos complementares: o Conceito Preliminar de Curso (CPC), de 2007, que avalia os cursos superiores; o Índice Geral de Cursos (IGC), de 2008, que avalia as instituições de educação superior do país; o Indicador de Diferença entre os Desempenhos Esperado e Observado (IDD), que mede o contraste entre os desempenhos dos alunos no Enem e no Enade; o último, Exame Nacional de Desempenho de Estudantes, criado em 2004, avalia o rendimento dos concluintes dos cursos de graduação, servindo como uma das bases para todos os outros. Os resultados do sistema servem de subsídio para o MEC credenciar e recredenciar as universidades, centros universitários e faculdades; e autorizar, reconhecer e renovar o reconhecimento de cursos.
A USP nas avaliações universitárias
Em sua tese de doutorado, defendida na Unicamp, Sabine resgata o histórico da USP no ranking internacional THE. Somente em 2011, a Universidade apareceu como a única brasileira entre as 200 melhores instituições de ensino superior do mundo. Sua melhor colocação foi em 2012, quando alcançou a 158º posição. Desde então, a USP se mantém na faixa entre 250-300.
A jornalista analisa que as notas da USP se mantiveram estáveis nos indicadores, isto é, não houve um grande crescimento, exceto em “pesquisa” e “indústria”, que apontam um aumento mais significativo. Essa estabilidade é um dos fatores para a perda de posições diante da melhora de desempenho de outras universidades.
Quanto ao cenário nacional, as universidades estaduais não são obrigadas a passar pelo parecer do governo federal. É o caso da USP, a única universidade do país fora do Enade. O exame é utilizado como critério na avaliação de cursos e de Instituições de Ensino Superior (IES) do MEC, além de compor a nota do RUF.
Somente na gestão de João Grandino Rodas, de 2010 a 2013, os graduados da Universidade fizeram a prova em caráter experimental e de forma voluntária. Em 2016, o então reitor da USP, Marco Antônio Zago, afirmou em entrevista à Folha que o Enade é um exame “tecnicamente controverso”. Uma das críticas é sobre a possibilidade de alunos irem mal na prova por escolha própria, impedindo a análise sobre a qualidade dos cursos. A Reitoria, atualmente sob o comando de Vahan Agopyan, foi procurada para falar sobre a pauta, mas não respondeu até o fechamento desta edição.
Instrumento de marketing
Os rankings universitários são utilizados, com frequência, como forma de propaganda pelas instituições de ensino. Seu caráter mercadológico é evidenciado quando faculdades particulares os utilizam para legitimar a sua qualidade. Um exemplo questionável é o uso que a Universidade Paulista (Unip) faz do RUF para se intitular como a “faculdade particular preferida do mercado de trabalho”.
De fato, a Unip desponta nesse indicador, que é baseado apenas nas respostas de empregadores a respeito de quais instituições de ensino preferem contratar. Mas ela não está sozinha nessa posição: empata, nesse quesito, com a Universidade Presbiteriana Mackenzie desde 2014. Perguntada sobre isso, a assessoria de imprensa da Unip informou que não participaria desta reportagem.
Sobre esse uso do RUF, Sabine é categórica: “O ranking é um produto jornalístico. O que a gente quer é produzir informação. Não controlamos o uso dessa informação, simplesmente produzimos”. Da mesma forma, a avaliação do MEC também é usada para fins comerciais. Contatado, o Inep declarou não emitir opiniões sobre como os dados que realizam são utilizados.
A influência dos rankings está presente em diferentes níveis. O próprio governo federal declara no site do programa Ciência sem Fronteiras que as universidades estrangeiras para onde os pesquisadores viajam são selecionadas “de acordo com os principais rankings internacionais”.
No caso da USP, a questão dos rankings levou até a soluções financeiras: entre 2011 e 2013, os servidores eram beneficiados com um prêmio em dinheiro – que variou entre 3500 a 6000 reais – de acordo com a colocação da Universidade nos rankings internacionais, revela o livro Universidade em Movimento, organizado pelo ex-reitor Jacques Marcovitch.
A Universidade se mantém atenta aos rankings nacionais e internacionais, divulgando a sua colocação em cada um deles por meio da assessoria de imprensa. Além disso, este ano, está implantando o Escritório de Gestão de Indicadores de Desempenho para monitorar as mesmas métricas utilizadas nos principais rankings.