EJE 3. CIENCIA Y UNIVERSIDAD

Rankings de universidades: Para que e como construí-los? *

* Este artigo foi originalmente publicado em 31 de Agosto de 2010. Uma versão atualizada e bilíngue é publicada em nosso site. Esperamos seu comentário em: http://www.revistacts.net/elforo/358-el-debate-rankings-de-universidades-ipara-que-y-como-construirlos.

Sandra N. Brisolla **

** Departamento de Política Científica e Tecnológica, Universidade Estadual de Campinas, Brasil. Email: Brisolla@ige.unicamp.br.

John Maynard Keynes afirmava que o cálculo econômico do valor do investimento de cada capitalista, necessário para assegurar o pleno emprego dos fatores de produção de uma sociedade, não é uma tarefa complexa; é impossível! Não é que Keynes não tenha se beneficiado da existência de computadores capazes de lidar com múltiplas variáveis correlacionadas, que lhe permitiriam reproduzir ad infinitum modelos desimulação! É que sabia que a instabilidade, origem dos ciclos econômicos, é uma característica inerente ao capitalismo. Assim, Lord Keynes não ficaria refém da tendência a tratar fenômenos sociais como variáveis cujo comportamento se supõe previsível, através de modelagem estatística, fruto da confusão entre ferramenta de análise (como a econometria) e a reflexão teórica que ela passa a substituir. E é, por isso, evocado até hoje para explicar fenômenos que não poderia prever, como a crise que se abateu sobre o centro nervoso do sistema capitalista na atualidade, mas poderia ajudar a resolver. Tampouco viveu para testemunhar a tentativa reiterada de representar numericamente características de fenômenos sócio-econômicos e culturais, numa simplificação da realidade não isenta de conseqüências.

A utilização de signos e números representativos para caracterizar comportamentos e qualidades de variáveis determinadas socialmente responde à necessidade de tornar mensuráveis variáveis sociais. Isso ocorre, por exemplo, com os números índices. A aplicação mais comum é o índice de preços. Há pelo menos duas metodologias de sua construção reconhecidas como básicas e outras que em geral são resultado de sua combinação. No primeiro caso se mede a variação de preços tomando como base de comparação a cesta básica de consumo (os bens e serviços essenciais para sua sobrevivência) dos trabalhadores de renda mais baixa no passado. No segundo índice compara-se o preço médio ponderado pelos itens componentes de sua atual cesta de consumo com o custo desses bens e serviços no passado. Ora, se a inflação está comendo os salários, a escolha da nova cesta de consumo como base após o aumento de preços já vai resultar na subestimação do percentual de inflação indicado pelo segundo índice, pois o trabalhador já terá substituído produtos mais caros por mais baratos. Isso mostra que mesmo um indicador aparentemente não contaminado como esse, resulta em redução de poder de compra daqueles cujo salário é reajustado pelo índice de inflação. O índice mais utilizado, que corresponde à média geométrica entre os dois primeiros, reduz o impacto negativo para o trabalhador, sem o eliminar.1A conclusão que daí se tira é que a inflação é um mecanismo de transferência de renda dos trabalhadores para os rentistas, sendo os números índices utilizados como um instrumento legitimador dessa espoliação.

Vamos agora ao tema que nos interessa: No caso da produção de índices para construir rankings de universidades, as metodologias são mais variadas, mas o produto é o mesmo: números representando características específicas de uma instituição social complexa de alta relevância para a sociedade. Quando se trata de elencar instituições, esses números têm a conveniência de tornar a comparação facilmente compreensível, mas respondem a um procedimento via-de-regra muito pouco confiável e nem sempre são reveladores dos objetivos que norteiam sua construção. A aplicação dessa metodologia para a produção de listas ou rankings de universidades obedece, em geral, a um propósito muito claro das instituições que estabelecem a metodologia para a obtenção dos números ou postos correspondentes a cada universidade e que não aparecem de forma transparente para seus possíveis usuários externos.

Passamos então a enumerar algumas questões que se consideram relevantes para a avaliação de “para que” e “como” os índices são construídos.

1. A classificação de universidades de acordo com uma lista de presumível “excelência” pode responder ao desejo de premiar com estímulos monetários ou orçamentos privilegiados àquelas melhor classificadas, ou reduzir valores de recursos para pesquisa daquelas mal avaliadas, ou ainda para nivelar as qualidades, melhorando as condições das instituições de menor desempenho; enfim, pode servir de ferramenta de política pública para o ensino superior. Seja este ou outro objetivo, ou mesmo nenhum objetivo concreto além do estímulo provocado pela concorrência entre universidades, a produção de rankings tem pelo menos o potencial de auxiliar na tomada de decisões. O que não é de todo indesejável, pelo contrário. O problema é que a maneira como os índices das universidades são construídos refletem um modelo de universidade desejável, seja consciente ou inconscientemente, e numa sociedade democrática esses critérios deveriam ser discutidos pela comunidade acadêmica e oxalá com participação de representantes da sociedade civil. De qualquer forma, para que se chegue a tal modelo faz-se necessário um projeto abrangente do sistema de ensino superior, onde as características de cada instituição deverão corresponder a uma função específica e nele integrada.

2. Hoje os rankings existentes baseiam-se quase que exclusivamente na produção científica e mais especificamente no seu impacto, ou seja, no número de citações de artigos produzidos pelas universidades, constantes de publicações indexadas.2Para efeito de comparação internacional essa é talvez a variável mais importante, mas tem o defeito de desconsiderar publicações de países em vias de desenvolvimento, que dificilmente são indexadas nessas bases e frequentemente são meios de difusão de conhecimento científico desenvolvido nesses países sobre suas condições específicas e em áreas onde a produção internacional colabora relativamente pouco como, por exemplo, a agricultura, ou a medicina preventiva. Acrescente-se que a construção de rankings com base na produção científica de repercussão internacional tende a moldar os mecanismos de avaliação interna de universidades e favorecer a produção de textos que são publicáveis nessas revistas indexadas e assim desestimular o crescimento de revistas científicas internas nesses países e, o que é mais grave, dirigir a escolha de temas de pesquisa para aqueles mais voltados para o interesse dos países centrais que para a realidade local. Isso se reflete no pequeno interesse na pesquisa sobre a riqueza vegetal de áreas tropicais como a Amazônia e o relativo abandono em que sobrevivem instituições criadas para essa finalidade.

3. Além da questão relativa à utilidade de um indicador agregado como um ranking de universidades, existe a dificuldade concreta de construção de um indicador com essa abrangência. Mesmo que nos limitemos às três principais funções acadêmicas, ensino, pesquisa e extensão, temos vários problemas, desde a escolha de pesos para cada função, o que passa pelo modelo de universidade que consideramos mais importante, até o tipo de produto que representa cada uma delas. Um exemplo interessante é o custo por aluno, ou o número de alunos por professor, considerados indicadores da produtividade do ensino em cada universidade. Ora, quanto maior o custo, menos produtiva se considera a universidade, mas para que os alunos possam ter maior atenção dos docentes, a relação aluno/professor deve ser menor! Sem levar em conta que o custo por aluno inclui, geralmente, o custo da pesquisa, pois essas atividades são muito relacionadas, e as universidades mais produtivas em pesquisa com esse critério aparecem como menos produtivas em ensino! Se introduzirmos a extensão universitária teremos mais problemas ainda, pois como iremos pontuar a presença de um hospital de qualidade, geralmente o maior benefício que a comunidade local e regional retira da presença de uma universidade de qualidade, frente a outras funções sociais e culturais na extensão acadêmica. 

4. Como o teste do ranking constitui na percepção de que o resultado da aplicação da metodologia corresponde à listagem que já esperávamos, para que serve sua construção? 3 Acreditamos que seriam bem mais úteis indicadores parciais, relativos a funções específicas e mesmo temas relacionados a essas funções. Assim, conhecer as universidades cujo perfil de prestação de serviços à comunidade local ou regional ou mesmo em funções de nível nacional (assessores governamentais, por exemplo) tem essa vocação, e comparar o desempenho de cada uma dessas atividades a nível nacional, pode conduzir a uma integração desses esforços pela criação de elementos de ligação entre pessoas a elas dedicadas, de forma a elevar o alcance de resultados em termos globais. Isso pode chegar a contribuir de forma relevante para o planejamento de todo o sistema de ensino superior, cuja principal ferramenta é seu conhecimento detalhado.

1.Finalmente pensamos que de todas as distorções que podem ser derivadas de iniciativas como a produção de rankings de universidades, que foi inspirada pela difusão dos mecanismos de avaliação por quase todo o mundo acadêmico, as mais perigosas vinculam-se à tentativa de introdução de dirigismo na seleção de temas de pesquisa. É claro que essa escolha nunca é totalmente livre, se o acadêmico quiser contar com algum financiamento das agências de apoio à pesquisa, ainda que os projetos sejam avaliados pelos pares. Mas se as instâncias centralizadoras desses recursos resolverem usar esses indicadores para dirigir parte do total para atividades consideradas (por elas) mais relevantes, é preciso que haja um controle da comunidade acadêmica sobre o nível de comprometimento do dinheiro disponível para pesquisa. Atualmente verifica-se, por exemplo, uma tendência a considerar que a universidade pode dar uma contribuição fundamental no desenvolvimento tecnológico das empresas, e há todo um esforço concentrado no incentivo a mecanismos de enlace de empresas e universidades, criação de centros voltados para a inovação e promoção de feiras de tecnologia nessas instituições. Num país que forma onze mil doutores e trinta e nove mil mestres por ano, o fato das empresas no Brasil empregarem hoje um total de menos de dez mil pós-graduados em atividades de pesquisa e desenvolvimento revela as limitações que enfrentam essas iniciativas e alertam para desvios de função, incluindo a prestação de serviços quase gratuitos (pagos pelo estado) para empresas privadas e o desestímulo à pesquisa sem perspectiva de aplicação. Ainda que devam ser alentadas iniciativas nesse sentido, os mais promissores resultados alcançados até hoje consistem em relações com empresas públicas ou na geração de spin-offs, empresas formadas por ex-alunos que aplicam seus conhecimentos em alguns nichos tecnológicos. Já se contam algumas de sucesso, mas sem o potencial que delas se espera.

Para finalizar, recuperando as observações iniciais, é importante assinalar que a produção de rankings, ou mesmo de índices parciais de acordo com a vocação de cada universidade, não vai nunca substituir um estudo documentado sobre o histórico, a composição e as vocações da instituição acadêmica, quando se trata de compreender seu potencial para a integração com outras instâncias culturais que hoje tem um peso insuspeito anteriormente, devido à importância do conhecimento científico nas novas formas de produção econômica baseadas nas tecnologias surgidas com a chamada Terceira Revolução Industrial. Nessa nova era a interdependência entre instituições sociais, culturais e econômicas é tal que nenhuma delas sobrevive isolada das demais e o avanço de um sistema democrático e participativo se pauta pela preservação de um espaço de debate de idéias destinado a melhorar a qualidade de vida de nossas populações. Para isso, como vanguarda da produção de novas idéias, a universidade pode dar uma contribuição inestimável!

Notas

1. O primeiro é o índice de Laspeyres e o segundo o índice de Paasche, sendo o terceiro conhecido como índice “ideal” de Fisher (aspas nossas).

2. Em índices elaborados por instituições internacionais, tal como citado no artigo “Por Qué No”, de Carlos Pérez R., integrante desde Debate.

3. Argumento já assinalado por Carlos Pérez Rasetti, no texto já citado.