ARTICULOS

Uso público de la información: el caso de los rankings de universidades

Uso Público das Informações: o Caso dos Rankings de Universidades

 

Information For Public Use: University Rankings

Mario Albornoz y Laura Osorio *

* Mario Albornoz: investigador principal del CONICET jubilado. Co-director de la Revista Iberoamericana de Ciencia, Tecnología y Sociedad -CTS y coordinador del Observatorio Iberoamericano de la Ciencia, la Tecnología y la Sociedad (OCTS-OEI). Correo electrónico: albornoz@ricyt.org. Laura Osorio: Investigadora del Observatorio Iberoamericano de la Ciencia, la Tecnología y la Sociedad (OEI). Correo electrónico: losorio.oei@gmail.com.

---

Los rankings de universidades han adquirido gran visibilidad en el campo de las políticas de educación superior y en las estrategias de su desarrollo institucional. Su repercusión alcanza a los medios de comunicación en todo el mundo. La cantidad y variedad de rankings globales, nacionales y especializados en Estados Unidos, Europa y Asia ha aumentado en los últimos años, generando un gradiente de calidad que constituye una suerte de modelo normativo a tener en cuenta por las políticas y las instituciones de educación superior en América Latina. Este trabajo lleva a cabo un abordaje conceptual a los rankings de mayor difusión, examinando críticamente el modelo de calidad implícito y los criterios teóricos y metodológicos que estructuran los rankings globales. En particular, se reflexiona acerca de la tensión entre los enfoques globales y los contextos locales.

Palabras clave: rankings, educación superior, indicadores, universidad

Os rankings de universidades ganharam grande visibilidade no campo das políticas de educação superior e nas estratégias de seu desenvolvimento institucional. Sua repercussão alcança as mídias em todo o mundo. A quantidade e variedade de rankings globais, nacionais e especializados nos Estados Unidos, Europa e Ásia tem aumentado nos últimos anos, gerando um gradiente de qualidade que constitui uma espécie de modelo normativo a ser levado em consideração pelas políticas e instituições de educação superior na América Latina. Este trabalho realiza uma abordagem conceitual dos rankings de maior divulgação, examinando criticamente o modelo de qualidade implícito e os critérios teóricos e metodológicos que estruturam os rankings globais. Particularmente, reflete-se sobre a tensão entre as abordagens globais e os contextos locais.

Palavras-chave: rankings, educação superior, indicadores, universidade

University rankings have become a staple in the fields of higher education policy and institutional development strategy. Their impact is echoed in the media around the world. The number and diversity of rankings, global, national and specialized, in the United States, Europe and Asia have increased in the past few years, developing into a quality scale that created a body of regulations of sorts that Latin American higher education policies and institutions have to consider. This paper is a conceptual approach to the most widely used rankings, undertaking a critical examination of the implicit quality model and the theoretical and methodological criteria that guide them. Specifically, it discusses the existing tension between global approaches and local contexts.

Key words: rankings, higher education, indicators, university

---

Introducción

Los rankings de universidades han adquirido en los últimos años una gran visibilidad y su impacto no solamente alcanzó a los actores directamente involucrados en la gestión de la educación superior, sino también a la opinión pública, a través de su repercusión en los medios periodísticos. Al tiempo que ganaban un lugar muy destacado en el debate acerca de la calidad de las universidades, los rankings se multiplicaron y aumentó su variedad.

Surgidos originariamente como un producto norteamericano destinado a un público interno, los rankings luego se globalizaron, difundiéndose sobre todo a los países de Asia y de Europa. Su impacto en las instituciones universitarias y las comunidades académicas de la Argentina y, en general, en toda América Latina, ha sido también muy rápido y ha suscitado reacciones encontradas. En los últimos años ha crecido el debate sobre este tema en el medio universitario latinoamericano, tanto en términos de la baja ubicación que las universidades de la región alcanzan en los rankings de cobertura mundial, como en torno a los valores que conlleva el ordenamiento.

Analizar la emergencia de los rankings y de su significado plantea desafíos de orden teórico y metodológico que comprenden los objetivos de los rankings, las definiciones de calidad que se adoptan, las unidades de análisis, las dimensiones y los indicadores que se eligen, las fuentes que se utilizan, los criterios de ponderación, la forma de organización de los resultados y las modalidades de difusión pública de sus resultados. Todos estos aspectos involucran opciones valorativas, conceptuales y metodológicas que es preciso examinar con atención.

1. ¿Qué es un ranking?

Todo ordenamiento numérico en función de una variable configura un ranking, bien se trate de valores puramente cuantitativos (como el número de publicaciones científicas) o de indicadores relacionales (como el número de publicaciones por investigador). La tabla de posiciones de un campeonato es un ranking y, de hecho, esta figura es utilizada por algunos autores como metáfora para enfatizar el aspecto competitivo implícito en los rankings universitarios (Rauhvargers, 2011). Barsky (2014) señala, en el mismo sentido, que los rankings tienen un origen deportivo.

Construir una tabla de valores implica un acto evaluativo, en la medida que se seleccionan variables y se les atribuye significación. Así, todo ranking implica una evaluación y conlleva un sistema de valores. Medir publicaciones científicas, por ejemplo, responde a la idea de productividad y, si se la mide a través de ciertas bases de datos internacionales, tiene además un sesgo que abre puertas a la polémica, particularmente en ciertas disciplinas más vinculadas con objetos de estudio de interés más local que internacional. Las variables elegidas para confeccionar un ranking y el peso relativo que se les asigna están teñidas con un concepto de calidad cuyo significado es eje de grandes controversias.

Los indicadores relacionales suponen una combinación de variables y por ello es más compleja su carga de valores e hipótesis significativas. Es importante entender lo que un indicador dice (cuáles son las variables que combina), lo que no dice (qué variables eventualmente significativas no han sido tomadas en cuenta) y por qué lo dice; esto es, cuál es la visión modélica que da significación al dato. Que las publicaciones en el Science Citation Index o en Scopus sean de gran relevancia en la determinación del nivel de calidad de las universidades, refleja una determinada visión de lo que se entiende por este concepto.

Los rankings internacionales que miden aspectos tales como la competitividad (como el Global Competitiveness Report del World Economic Forum), la actitud innovadora (como el Índice Mundial de Innovación, de la OMPI) o la calidad de las universidades, como los que se revisan en este informe, merecen un examen crítico, tanto desde el punto de vista metodológico como desde el plano teórico, ya que su modelo implícito no solamente atañe a los criterios de selección de las variables, sino al peso relativo que se asigna a cada una de ellas. Por otra parte, la propia mirada globalizadora puede conducir a la noción de "camino único" y a no tomar suficientemente en cuenta la peculiaridad de los contextos locales. Hay suficiente consenso acerca de este problema, al que se le han propuesto soluciones, pero no resulta claro que sea por la vía del diseño técnico que se pueda evitar el efecto normalizador que induce a lo imitativo, más que a la reflexión acerca de la singularidad y de la adecuación a entornos concretos.

Los rankings universitarios que se han multiplicado en los últimos años tienen por objeto establecer un orden jerárquico de las instituciones de educación superior basándose en parámetros e indicadores que pretenden medir la calidad de la educación universitaria, de la investigación y otros aspectos de la actividad académica. (Tomàs et al., 2015). De acuerdo con las "Pautas para grupos de interés de rankings académicos" del IREG (2015), los rankings académicos pueden ser definidos como una "evaluación numérica de la ejecución de un programa, actividad, institución o un sistema de educación superior, basado en una metodología consensuada".1 Sin embargo, hay matices que los diferencian, particularmente en razón de sus propósitos, ya que en algunos casos su finalidad es informar y orientar a los estudiantes; en otros casos su propósito es orientar decisiones de política educativa y en otros informar a la opinión pública (los rankings suelen tener amplia repercusión en la prensa).

La elaboración de rankings al modo de "tablas de posiciones" se inició en Estados Unidos en los 80 y continuó en el Reino Unido. Las primeras clasificaciones trataban de diferenciar a las mejores escuelas de negocios (business schools). Estos primeros rankings fueron desarrollados por publicaciones económicas como Business Week, U.S. News & World Report, Financial Times, The Economist o el Wall Street Journal (Pérez-Esparrells y Gómez-Sancho, 2010).

En la sociedad norteamericana, los rankings universitarios han gozado desde sus orígenes de gran aceptación social, debido a las características de su sistema de educación superior y a la necesidad de los estudiantes y sus familias de contar con herramientas que faciliten la toma de decisiones a la hora de escoger la universidad o college más adecuados a sus posibilidades y aspiraciones. Un ejemplo de este tipo de instrumento es el U.S. News & World Report Best Colleges, que empezó a publicarse en 1985 (Tomàs et al., 2015).

El fenómeno adquirió otras dimensiones a partir de la divulgación de los rankings internacionales de Shanghai, el QS World University Ranking y el Times Higher Education Supplement. El primero de ellos -Shanghai Jiao Tong University’s Academic Ranking of World Universities- fue publicado por primera vez en 2003, el QS World University Ranking fue creado en 2004 y publicado de manera individual en 2010, y el Times Higher Education World University Ranking en 2010 (Tomàs et al., 2015; Barsky, 2014). Algunos rankings globales están centrados en aspectos más restringidos, como la información disponible en sitios web, como el Spanish National Research Council’s Webometrics, o las publicaciones científicas producidas por las universidades, como el SCImago Institutions Ranking. Constituyen también un fenómeno relativamente reciente.

Si, como señalan varios autores, la difusión de los rankings se relaciona con tendencias bien establecidas de cambio en los contextos de la educación superior y de las relaciones entre las universidades, las demandas sociales y las políticas de educación superior, es de gran importancia constatar los problemas conceptuales, metodológicos y de información que pueden presentar los rankings, así como la crítica a sus eventuales impactos negativos sobre sistemas e instituciones.

Los rankings pueden ser vistos también como una manifestación de cambios en los contextos en los que se desempeñan las instituciones de educación superior. Desde esta perspectiva, hay tres transformaciones recientes con las que sin duda se vinculan.

a) La primera de ellas es la creciente internacionalización de la educación superior. Este fenómeno es interpretado como síntoma de la transición hacia "economías intensivas en conocimiento" y a la búsqueda global de talentos (Hazelkorn, 2015). El auge reciente de los rankings está sin duda ligado a tal proceso, ya que aspiran a tener un alcance global.

b) La segunda remite a las tendencias de mercantilización de la educación universitaria. Estas tendencias abarcan diversos aspectos, pero son particularmente importantes (en relación con el punto anterior) en la constitución de mercados de alcance global o regional de estudiantes y de académicos. Muchos asignan a los rankings desde su origen la misión de aportar información para la toma de decisiones en el mercado académico. En el mismo sentido, se señala que alientan una "carrera por la reputación" destinada a incidir en la elección de universidades por parte de los estudiantes (Hazelkorn, 2015).

c) Una tercera transformación con la que se relaciona la difusión de los rankings remite a las transformaciones en las modalidades de gestión de sistemas e instituciones, que en forma creciente ponen en primer plano las vinculaciones de las instituciones con diversos actores. Un aspecto de tales vinculaciones es el de la provisión, por parte de las instituciones, de información confiable y accesible sobre su desempeño.

 2. Tipos de rankings

Para ordenar los diferentes tipos de rankings se tomarán en cuenta sus propósitos y algunos aspectos conceptuales y metodológicos relevantes. El IREG (2015), en sus "Pautas para grupos de interés de rankings académicos", señala que es posible distinguir entre rankings unidimensionales o multidimensionales. Por los primeros se entiende que son aquellos que "evalúan el desempeño de acuerdo a una serie de indicadores, con un peso específico para cada indicador"; por los segundos, aquellos que "proporcionan una serie de tablas de puntuaciones en lugar de sólo un listado general, lo que permite a los usuarios ponderar los indicadores de acuerdo con sus propias preferencias y construir rankings personalizados" (IREG, 2015).

La distinción que formula el IREG, así como las definiciones que emplea, son en cierto modo contraintuitivas, ya que se considera unidimensional a un ranking conformado por un conjunto de variables ponderadas (lo que intuitivamente podría ser comprendido como multidimensional), debido que el resultado es un único valor que expresa el posicionamiento de cada universidad en el orden que surja de la operación y sintetizaría de este modo una dimensión única: la calidad supuesta de cada universidad. En cambio, los unidimensionales no constituirían un ranking único, sino un conjunto de variables medidas en forma separada, ofreciendo un menú que cada usuario puede combinar a su antojo. U-Multirank, como se verá más adelante, sería un exponente de este tipo. Desde otra perspectiva, los objetos son los mismos, pero la definición es inversa. Así, los rankings multidimensionales son definidos por Bengoetxea y Buela-Casal (2012) como aquellos que abarcan la diversidad de las misiones de las instituciones de educación superior y no sólo la excelencia en investigación. Estos rankings pueden ser considerados como generales, si toman en cuenta más de una variable, o específicos, cuando se elaboran tomando en cuenta una sola categoría y están destinados a valorar aquellos aspectos únicos en los que las instituciones individualmente pueden destacarse.

Otra forma de ordenar los rankings universitarios es hacerlo por países, regiones, globales y especializados (Barsky, 2014). Los rankings por países son aquellos que se centran en el desempeño de las universidades en su contexto particular para compararlas con otras universidades del mismo país. Por su parte, los rankings globales, que también son conocidos como rankings mundiales y rankings internacionales, son aquellos que realizan una cobertura más amplia de universidades a nivel mundial para realizar comparaciones (Aguillo, 2012; IREG, 2015). La mayor parte de las dificultades se presentan con este tipo de rankings, que construyen comparaciones de universidades insertas en contextos sociales, económicos y culturales muy diferentes. Si se los analiza en función de sus fuentes de información, es posible distinguir entre otros:

a) Rankings basados en encuestas de opinión: en esta categoría se encuentran los rankings QS y Times Higher Education, que basan sus resultados en encuestas de opinión, si bien se los combina con otros datos objetivos.

b) Rankings basados en bibliometría/cibermetría: en esta categoría se ubican los rankings que hacen uso casi exclusivamente de datos cuantitativos derivados de resultados de investigación (artículos científicos y citas bibliográficas) o de su presencia web (páginas, enlaces y menciones web). Entre ellos el ranking de desempeño de artículos científicos para las universidades del mundo (NTU) de Taiwán y el Ranking de Leiden, que utilizan como fuente de información a la Web of Science de Thomson Reuters. De otro lado, SCImago, que utiliza como fuente a Scopus y, el ranking Web de Universidades (Webometrics), que hace uso de Google Scholar (Aguillo, 2012).

También es posible distinguir entre clasificaciones académicas y clasificaciones parcialmente académicas. Las primeras son listas que clasifican a las universidades e instituciones de educación superior e investigación de acuerdo a una metodología basada en fuentes de datos bibliométricos cuyos criterios son medibles y reproducibles. Las segundas son aquellas clasificaciones basadas en apreciaciones subjetivas propias de las encuestas de opinión y no necesariamente de métodos bibliométricos. En este trabajo adoptaremos la clasificación propuesta por Federkeil y otros autores (2012) para presentar algunos de los principales rankings académicos de universidades.

Tabla 1. Clasificación de los principales rankings

3. Principales rankings académicos de universidades

Se caracterizan a continuación algunos de los rankings más destacados y se toman en cuenta sus finalidades, foco, cobertura, organización que los realiza, la metodología que adoptan y las fuentes de información que utilizan.

3.1. Rankings globales

3.1.1. Ranking de Shanghái 2

El Academic Ranking of World Universities (ARWU) también es conocido como Ranking de Shanghái, por su lugar de origen en China. Creado en 2003, este ranking fue publicado por primera vez por el Center for World-Class Universities (CWCU) de la Escuela Superior de Educación de la Universidad Jiao Tong de Shanghái. Su propósito original fue conocer el posicionamiento de las universidades de educación superior de China, en comparación con las principales universidades de clase mundial. En la actualidad es un referente para universidades de todo el mundo. Todos los años este ranking clasifica información de más de 1200 universidades del mundo y publica en su sitio web las mejores 500.

Tabla 2. Indicadores y sus porcentajes

El sesgo hacia la investigación de este ranking es casi absoluto y resulta evidente que el modelo de calidad implícito está decididamente orientado a la investigación de punta, ya que las universidades son seleccionadas de acuerdo a la cantidad de Premios Nobel o Medallas Fields alcanzados por sus profesores o alumnos; a sus investigadores altamente citados; a los artículos publicados en Nature o Science durante los últimos diez años; y a los artículos indexados por Science Citation Index - Expanded (SCIE) y Social Science Citation Index (SSCI).3A cada indicador se le asigna un valor máximo de 100, que se corresponde con el obtenido por la mejor universidad en las diferentes categorías. Para las otras universidades, el indicador se calcula como un porcentaje proporcional de ese valor máximo. En el caso de las instituciones especializadas en humanidades y ciencias sociales no se considera el criterio de publicaciones en Nature y Science y el valor se redistribuye entre los demás indicadores de forma proporcional.

En 2015 las cuatro primeras universidades fueron norteamericanas (Harvard, Stanford, MIT y California-Berkeley). La quinta fue la universidad de Cambridge. En cuanto a las latinoamericanas, en ese mismo año, la primera fue la Universidad de San Pablo, seguida por la UBA. Las tres siguientes fueron brasileñas (Federal de Rio, UNESP y Campinas). En sexto lugar aparecía la Universidad de Chile.

3.1.2. Times Higher Education World University Rankings (THE-TR)

El Times Higher Education World University Rankings (THE-TR) fue creado en 2010 en el Reino Unido y se presenta como el único ranking a nivel mundial que mide el desempeño de las universidades en investigación intensiva alrededor de sus misiones centrales: enseñanza, investigación, transferencia de conocimiento y perspectiva internacional. Utiliza para ello trece indicadores de desempeño, con el propósito de lograr una comparación balanceada, probada por estudiantes, académicos, responsables universitarios, industrias y gobiernos.

Tabla 3. Indicadores

La metodología básica para 2015 es similar a la empleada en 2011-2012, pero se han hecho cambios en algunos indicadores.4 Este ranking excluye de la clasificación a universidades que no enseñan a los estudiantes de grado o que en un período quinquenal han tenido una producción de artículos menor a 1000; es decir, alrededor de 200 al año.

El Times Higher Education World University Rankings ofrece además una selección de rankings entre los que se encuentran: World Reputation Ranking, Asia University Ranking y Brics and Emerging Economies. En el ranking THE-TR de 2015, tres de las primeras cinco universidades fueron de los Estados Unidos (Instituto Tecnológico de California, Stanford y MIT) y dos del Reino Unido (Oxford y Cambridge). En cambio, el resultado para América Latina presentó entre los cinco primeros puestos tres universidades de Brasil (Universidad de San Pablo, Campinas y la Federal de Rio de Janeiro) y las dos principales universidades chilenas (Universidad de Chile y Universidad Católica de Chile).

Como se puede ver, la reputación tiene un peso equivalente a un tercio de la ponderación. Otro aspecto importante son las citas (30%), por lo que sumando este rubro con el de investigación se alcanza el 60% del valor de la matriz. En cambio, los indicadores de enseñanza son indirectos, por lo que queda claro que el ranking pondera más la formación de investigadores que la de profesionales. Nuevamente, el modelo de calidad implícito es de las universidades de investigación avanzada.

3.1.3. QS Ranking. World University Rankings

El ranking QS, creado en 2004 en el Reino Unido y publicado de manera individual desde 2010, es el más grande de su tipo, ya que recaba información de 2000 universidades en ciento treinta países. Se basa en seis indicadores de desempeño que evalúan a las universidades en cuatro áreas: investigación, enseñanza, empleabilidad e internacionalización.5 Cada uno de los seis indicadores lleva una ponderación diferente en el cálculo de las puntuaciones globales. Si bien cuatro de los seis indicadores se basan en los datos "duros", la mayor parte del puntaje (60%) se asigna en base a la "reputación" académica y la de los empleadores de los egresados, en ambos casos sobre la base de encuestas globales. Para los indicadores basados en datos duros, el ranking QS utiliza alguna información proporcionada por las propias universidades y datos bibliométricos de la base de datos Scopus.

La preeminencia de la reputación en la matriz de evaluación de las universidades pone en evidencia que el ranking se apoya en la idea de que el prestigio es indicador de calidad. Por lo demás, la reputación es cuestionable desde las bases mismas de la metodología empleada: ¿cómo se seleccionan los informantes cuya opinión se demanda? El método deja abiertas las puertas a la endogamia, en la medida que no se controle la posibilidad de que sean las propias universidades las que sugieran los nombres de los informantes.

Cuadro 1. Indicadores

El ranking QS publica también el QS-Estrellas, que adjudica a las "universidades de clase mundial" un número de estrellas variable, de 0 a 5, de acuerdo a la clasificación obtenida a partir de una evaluación que considera 50 diferentes indicadores agrupados en varias categorías. Entre estos indicadores, algunos remiten a investigación, enseñanza, internacionalización, empleabilidad, facilidades (infraestructura de la universidad), aprendizaje a distancia, responsabilidad social, innovación, arte, cultura e inclusión, así como también el criterio de los especialistas.

QS publica desde 2011 una selección de las 300 principales universidades en América Latina. La metodología que se usa para esta clasificación se corresponde con la clasificación general de universidades, pero adicionalmente se han incluido ciertos criterios que permiten la comparación de instituciones de acuerdo a las prioridades de la región.

Cuadro 2. Indicadores para universidades de América Latina

En su versión de 2016, la clasificación para América Latina presentaba en primer lugar a la UBA, seguida por la Universidad de San Pablo, la Universidad Católica de Chile, la de Campinas y la Universidad de Chile.

3.1.4. Ranking de Leiden

El Centro de estudios de Ciencia y Tecnología de la Universidad de Leiden (CWTS), en Holanda, publica desde 2008 el Ranking de Leiden, que clasifica 750 universidades en todo el mundo de acuerdo a la producción de publicaciones en revistas científicas internacionales en determinados periodos.6 La clasificación está basada en información de la base de datos de la Web of Science. Sólo artículos de investigación y artículos de revisión son tomados en cuenta. Las publicaciones en colaboración son contadas fraccionadamente.

Se denominan core publications aquellas de la Web of Science que se publican en campos adecuados para el análisis de las citas. Los criterios de las core publications son: publicaciones escritas en inglés; publicaciones con uno o más autores; publicaciones que no son retractadas; publicaciones que aparecen en revistas centrales. En el cálculo de los indicadores del Ranking de Leiden, sólo estas publicaciones son tenidas en cuenta. Como señala Carlos Pérez Rasetti, cabe una reflexión acerca de los objetivos, el modelo y la relevancia de este ranking que focaliza sobre publicaciones científicas y citas, dejando de lado otros aspectos importantes de la producción académica.7 Con todo, el sesgo no debe ser inferido, por explícito: el ranking no pretende predicar acerca de aquello que no pondera.

Cuadro 3. Indicadores

De las primeras cinco universidades del Ranking de Leiden para 2015, tres fueron de los Estados Unidos (Harvard, Michigan y Johns Hopkins), una canadiense (Toronto) y una china (Zhejiang). En América Latina las cinco primeras universidades fueron brasileñas: San Pablo, Campinas, la Universidad Federal de Rio Grande do Sul, la Estadual Paulista y la Federal de Rio de Janeiro.

3.1.5. Center for World University Rankings (CWUR)

El Center for World University Rankings (CWUR) mide desde 2012 la calidad de la educación y la formación de estudiantes al igual que el prestigio de los miembros de las facultades y la calidad de sus investigaciones sin depender de encuestas y datos suministrados por las universidades.8 El CWUR usa ocho objetivos e indicadores para clasificar las principales mil universidades a nivel mundial.

Tabla 4. Indicadores

Una vez más, el modelo dominante es el de la investigación, pero en este caso llama la atención un sesgo importante en el indicador de empleo: hacia "las mejores empresas del mundo". No se toman en cuenta otras posibilidades destacadas, como la función pública, la actividad solidaria en las ONG o el emprendedurismo exitoso, si no llega a alcanzar una dimensión internacional.

Para 2015, la clasificación de las primeras cinco universidades incluyó tres de los Estados Unidos (Harvard, Stanford y MIT), así como las inglesas Cambridge y Oxford. Las cinco primeras universidades de América Latina fueron la de San Pablo, la Federal de Rio de Janeiro, la UNAM, la UBA y la Universidad Católica de Chile.

3.1.6. University Ranking by Academic Performance (URAP)9

El University Ranking by Academic Performance (URAP) es producido por el Instituto Informático de la Universidad Técnica de Medio Oriente (METU), de Ankara, Turquía. URAP se constituye como un equipo interdisciplinario que investiga la medición del desempeño académico para clasificar a las universidades de todo el mundo. El ranking de URAP de las principales 2000 universidades del mundo ha sido publicado anualmente desde el Primer Simposio Internacional URAP celebrado en Ankara en 2010. En 2011, URAP publicó las principales 1000 universidades clasificándolas en seis áreas científicas diferentes, tales como ingeniería, agricultura y ciencias ambientales, medicina, ciencias de la vida, ciencias naturales y ciencias sociales. En 2013, los campos fueron ampliados sobre la base de la clasificación australiana y neozelandesa para la investigación. El ranking está basado en seis indicadores de desempeño académico. Las publicaciones científicas constituyen la base metodológica de este ranking. Tanto la calidad como la cantidad de las publicaciones y del desempeño de la colaboración internacional en investigación, son usadas como indicadores.

Tabla 5. Definiciones de los indicadores

El sistema de clasificación de URAP se enfoca en la calidad académica. URAP reúne información de cerca de 2500 instituciones de educación superior (IES) en un esfuerzo por clasificar dichas organizaciones por su desempeño académico. El puntaje total de cada IES está basado de acuerdo a su desempeño sobre ciertos indicadores. El estudio de URAP incluye IES en general, exceptuando instituciones académicas gubernamentales, por ejemplo: la Academia China de las Ciencias y la Academia Rusa de las Ciencias, entre otras. De las 2500 IES estudiadas por URAP, fue posible puntear a dos mil de estas. Así, se cubre en el estudio aproximadamente 10% de todas las IES en el mundo. En el año 2015 las cinco primeras universidades del mundo fueron: Harvard, Toronto, Oxford, Johns Hopkins y Cambridge. Para América Latina el orden ponía en primer lugar a la Universidad de San Pablo, seguida por la UBA, la Estadual Paulista, la Federal de Río de Janeiro y Campinas.

3.2. Clasificaciones académicas

3.2.1. Ranking Académico de las Universidades del Mundo por materias (ARWU- SUBJECT)10

Creado en 2009, el Ranking Académico de las Universidades del Mundo por materias(ARWU-SUBJECT) clasifica a las universidades del mundo de acuerdo a cincomaterias, entre las que se encuentran matemáticas, física, química, ciencias de lacomputación y economía/negocios. Anualmente publica las mejores 200universidades de acuerdo a los siguientes criterios:

• Premios Nobel (profesores o alumnos);

• Medallas Fields o Premios Turing;

• Investigadores altamente citados;

• Artículos publicados en Nature o Science en los últimos diez años;

• Artículos indexados por Science Citation Index - Expanded (SCIE) y Social Science Citation Index (SSCI).

Los indicadores que se utilizan en el ranking por materias son:

a) Número de antiguos alumnos ganadores de Premios Nobel y Medallas Fields, que se considera como un reflejo de la calidad de la docencia (10%);

b) Número de profesores ganadores de Premios Nobel y Medallas Field (15%) e investigadores más citados en diversos campos (HiCi), lo que refleja la calidad del profesorado (25%);

c) Número de los artículos indexados en Science Citation Index - Expanded (SCIE) y Social Science Citation Index (SSCI) (PUB), lo cual muestra la cantidad y calidad de la producción investigadora (25%);

d) Porcentaje de artículos con alta calidad (TOP) (25%).

Para 2015, las universidades clasificadas por materia fueron todas norteamericanas, con una sola excepción: en el área de matemáticas se reconoció en quinto lugar a la Universidad Pierre y Marie Curie-París VI de Francia. Las norteamericanas fueron Princeton, Stanford, Harvard y California-Berkeley. En física todas fueron de los Estados Unidos (California-Berkeley, Princeton, Harvard, MIT, el Instituto de Tecnología de Massachusetts y el Instituto de Tecnología de California). En química los cinco primeros puestos fueron para universidades de los Estados Unidos (California-Berkeley, Harvard, Stanford, Instituto de Tecnología de California y Universidad del Noroeste), lo mismo que en computación, con Stanford, MIT, California-Berkeley, Harvard y Princeton. Finalmente, en economía/negocios las cinco primeras fueron Harvard, Chicago, MIT, California-Berkeley y Columbia.

3.2.2. Ranking Académico de las Universidades del Mundo por Grandes Áreas de Conocimiento (ARWU-FILED)11

En 2007, el Centro de las Universidades de Clase Mundial dio paso a la creación de un ranking dedicado a las universidades del mundo por grandes áreas del conocimiento (ARWU-FILED). Con este ranking se da cuenta de las mejores 200 universidades del mundo de acuerdo a cinco áreas del conocimiento: ciencias naturales y matemáticas, ingeniería/tecnología y ciencias de la computación, ciencias de la vida y de agricultura, medicina clínica y farmacia, y ciencias sociales.

En este ranking, las universidades son elegidas según los siguientes criterios:

a) Contar con profesores o alumnos que hayan recibido un Premio Nobel, una Medalla Fields o un Premio Turing (25%).12

b) Investigadores altamente citados y artículos publicados en Nature o Science en los últimos diez años (50%).

c) Producir una cantidad significativa de artículos indexados por Science Citation Index - Expanded (SCIE) y Social Science Citation Index (SSCI) (25%).

Las áreas consideradas para la clasificación de las universidades son las siguientes:

Tabla 6. Áreas para la clasificación de las universidades

 

Los criterios que aplica son la calidad de la docencia, la calidad del profesorado, la cantidad y calidad de la producción investigadora.

Por motivos de normalización de datos e indicadores, este ranking no clasifica áreas y disciplinas relacionadas a las artes y humanidades, psicología, ciencias del comportamiento, neurociencias, entre otras no citadas en el cuadro anterior. Para el área de ingeniería, se ha creado un indicador particular referido al gasto en investigación anual en ingeniería e informática (FUND) con un valor del 25%. Actualmente, este dato sólo se aplica a universidades en Estados Unidos y algunas en Canadá. Las instituciones de otros países de los que no se obtiene información al respecto no tendrá en cuenta este indicador y su valor será reasignado en otros indicadores.

En 2015, las primeras cinco universidades en el área de matemáticas y ciencias naturales (SCI) fueron todas de los Estados Unidos (California-Berkeley, Harvard, Princeton, Stanford y el Instituto de Tecnología de California). En el área de ingeniería/tecnología y ciencias de la computación (ENG), las primeras cinco universidades en 2015 también fueron todas de los Estados Unidos (MIT, Stanford, California-Berkeley, Illinois en Urbana-Champaign y Texas en Austin). Entre las primeras cinco universidades del área de ciencias de la vida y agricultura (LIFE), en 2015 se registró la única excepción, que fue la inclusión de la Universidad de Cambridge en el segundo lugar, entre cuatro de los Estados Unidos (Harvard, Stanford, MIT y California, San Francisco). Ese mismo año, las primeras cinco universidades en el área de medicina clínica y farmacia (MED) fueron también norteamericanas (Harvard, California-San Francisco, Washington, Johns Hopkins y Stanford). El mismo resultado se produjo en la identificación de las primeras cinco universidades en el área de ciencias sociales (SOC), ya que todas ellas fueron de los Estados Unidos (Harvard, Chicago, MIT, Columbia y California-Berkeley).

3.2.3. U-Multirank13

U-Multirank es una herramienta desarrollada por la Unión Europea para seleccionar universidades con el Programa Erasmus. Constituye un nuevo enfoque multidimensional de rankings internacionales para instituciones de educación superior. Está operativo desde 2014. Ese año cubrió más de 850 instituciones de educación superior, 1000 facultades y 5000 programas de estudio de 74 países en todo el mundo.

Cuenta con un buscador que permite analizar universidades individualmente, o comparar algunas de ellas. Presenta una selección de cuatro rankings que permite observar el desempeño de las universidades en diversas áreas. Entre estos se encuentra: el ranking de investigación y enlaces de investigación; el ranking de participación económica; el ranking de enseñanza y aprendizaje; el ranking de orientación internacional.

Las dimensiones incluidas son enseñanza y aprendizaje, investigación, transferencia de conocimiento, orientación internacional y compromiso regional. U- Multirank utiliza datos empíricos para comparar instituciones con perfiles institucionales similares y permite a los usuarios el desarrollo de rankings personalizados por medidas de desempeño e indicadores, en términos de sus propias preferencias.

Cuadro 4. Indicadores Generales

 

Tabla 7. Indicadores del ranking de investigación y vínculos de investigación

 

Tabla 8. Indicadores del ranking de participación económica

3.3. Rankings nacionales

3.3.1. U.S. News College Rankings14

El U.S. News College Rankings, creado en 2008, forma parte de u

na plataforma informativa fundamentalmente orientada a facilitar la toma de decisiones por parte de los estudiantes, permitiéndoles comparar colegios y universidades norteamericanas y de todo el mundo. Incluye varios rankings con temáticas específicas, tales como el ranking de mejores escuelas, el de las mejores escuelas de graduados, el de mejores universidades, el de mejores programas en línea o virtuales, el ranking de mejores universidades mundiales y el ranking de mejores universidades de la Región Árabe.

En este ranking se han clasificado instituciones de Estados Unidos y de aproximadamente 50 países, sobre la base de diez indicadores que miden la actuación de la investigación académica y sus reputaciones a nivel mundial, sin hacer distinción entre los programas de grado y de posgrado. Se presentan las 500 mejores universidades del mundo. El ranking toma como referencia los datos de Thomson Reuters InCites que da cuenta de 750 universidades, de las cuales elige, para publicar, las 500 mejores en todo el mundo, clasificadas bajo criterios de reputación, publicación de artículos en los últimos cinco años. Además de los indicadores bibliométricos (Web of Science para el período de cinco años) toma en cuenta una encuesta de opinión a investigadores y académicos en sus campos de conocimiento. La matriz de evaluación asigna 25 puntos a los indicadores de reputación y 75 a los bibliométricos.

Tabla 9. Indicadores de reputación

Tabla 10. Indicadores bibliométricos

De las cinco primeras universidades del ranking mundial de 2016, cuatro fueron de los Estados Unidos (Harvard, MIT, California Berkeley y Stanford) y una inglesa: Oxford. En cuanto a las latinoamericanas, la primera fue la de San Pablo, seguida por la Federal de Rio, Campinas, la UBA y la UNAM.

3.3.2. CHE University Ranking

El ranking universitario CHE, creado en 1998, detalla la situación de las instituciones de educación superior alemanas. 15 Se incluyen en el ranking 35 temas, entre los cuales se encuentran programas de estudio, enseñanza, equipamiento e investigación. Además, se incluye la evaluación de 250.000 estudiantes de IES, así como una evaluación de la reputación de los departamentos por profesores de asignaturas individuales. El ranking recolecta datos a través de cuestionarios dirigidos a miembros de departamentos y facultades, profesores y estudiantes, así como a un análisis de la actividad de publicación de los académicos de un respectivo departamento. Los datos del nivel institucional son recolectados de las instituciones de educación superior involucradas, así como de los ex alumnos o graduados. Toma en cuenta indicadores como el mercado laboral, orientación de las carreras, equipamiento, investigación, orientación internacional, resultados de los estudios, universidad y ciudad, estudiantes, estudios académicos y enseñanza.

Para generar resultados gráficos con respecto al desempeño de las universidades en Alemania, el ranking permite seleccionar áreas de conocimiento y criterios (indicadores) de acuerdo a la preferencia de los usuarios. Las mejores universidades aparecen en el centro del gráfico. En este caso, se ha elegido el área de ingeniería industrial y se han tomado como indicadores la situación general de los estudiantes, orientación a la investigación, infraestructura informática, graduaciones en tiempo apropiado y orientación internacional.

Gráfico 1. Área de ingeniería industrial

3.3.3. Ranking de las universidades españolas

También denominado ISSUE (Indicadores Sintéticos de las Universidades Españolas), este ranking fue creado en 2013 conjuntamente por la Fundación BBVA y el Instituto Valenciano de Investigaciones Económicas (IVIE).16 Comprende dos rankings generales, uno de volumen de resultados (ISSUE-V) y otro de productividad (ISSUE-P), así como de docencia, investigación, innovación, desarrollo tecnológico y de titulaciones concreta.

Tabla 11. Indicadores

 3.4. Rankings especializados

3.4.1. SCImago Institutions Rankings (SIR)17

El grupo denominado SCImago, conformado por investigadores españoles en bibliometría, ha desarrollado una plataforma a partir de la base de datos Scopus, de Elsevier en la que se presentan rankings de publicaciones recortados por instituciones o países. SCImago Institutions Rankings, es uno de ellos. Se trata de una herramienta elaborada con el propósito de que sirva como instrumento para la evaluación de las universidades a nivel mundial y también a las instituciones dedicadas a la investigación. Con este ranking se categorizan instituciones de acuerdo con un conjunto de rangos como investigación, innovación y visibilidad web. Los rangos de las instituciones de para cada uno de los indicadores ha sido normalizado en una escala de 0 a 100. La evaluación de cada indicador determina la posición de cada institución con respecto a otras para facilitar estudios comparativos. Las instituciones se han seleccionado con el único criterio de ser instituciones de investigación con más de cien publicaciones incluidas en la base de datos de Scopus durante el último año del periodo de tiempo, que generalmente consta de cinco años. Las instituciones han sido segmentadas por los países a los que pertenecen, incluyendo instituciones multinacionales (MUL) que no pueden ser atribuidas a cualquier país.

Tabla 12. Indicadores

En la edición de 2016 las cinco primeras universidades fueron de Estados Unidos:  Harvard, Stanford, MIT, Michigan y Johns Hopkins.18 En el caso de América Latina, la institución que encabeza el ranking de 2016 es la Universidad de San Pablo, seguida por Campinas, la UNAM, la Universidad Federal de Rio de Janeiro y la Estadual Paulista.

3.4.2. SCImago Journal & Country Rank (SJR) 19

SCImago Journal & Country Rank es otro producto elaborado por el grupo español a partir de la información contenida en la base de datos Elsevier B.V de Scopus. Creado en 2009, este ranking incluye las revistas y los indicadores científicos discriminados por países. Estos indicadores pueden ser usados para evaluar y analizar dominios científicos. El ranking toma su nombre del indicador SCImago Journal Rank (SJR), el cual muestra la visibilidad de las revistas contenidas en la base de Scopus desde 1996. Se clasifican más de 1500 universidades de 83 países.

Cuadro 5. Indicadores

Para 2014, el ranking por países había ubicado en primer lugar a los Estados Unidos, seguido por China, el Reino Unido, Alemania, Japón, la India, Francia, Italia, Canadá y España. En el caso de América Latina, en 2014 el primer lugar fue para Brasil, seguido por México, Argentina, Chile, Colombia, Cuba, Venezuela, Perú, Uruguay y Ecuador. En cuanto al ranking de revistas, entre las diez primeras había cinco de los Estados Unidos y cinco del Reino Unido, todas de temas biomédicos, a excepción de Reviews of Modern Physics, Quarterly Journal of Economics y el Annual Review of Astronomy and Astrophysics. Ocho de las primeras diez revistas latinoamericanas fueron de Brasil; las restantes, una de México y una de Chile.

3.4.3. Ranking Web de Universidades (Webometrics)

El Laboratorio de Cibermetría del Consejo Superior de Investigaciones Científicas de España creó en 2004 el Ranking Mundial de Universidades en la Web, que proporciona una clasificación de instituciones de educación superior de todo el mundo de acuerdo a su presencia e impacto en la web. Este ranking calcula el número de archivos disponibles a través de las páginas web de las universidades, usando el dominio institucional como una unidad de análisis. El ranking aplica una distribución con peso equivalente entre indicadores de actividad, referidos a publicaciones y contenidos en la web, e indicadores de impacto y visibilidad, medidos a través del número de enlaces externos recibidos (visibilidad web).

Tabla 13. Indicadores

En 2016 Webometrics ubicaba en el primer lugar a la universidad de Harvard, seguida por el MIT, Stanford, California-Berkeley y Michigan. En el caso de Latinoamérica, la primera posición fue para la Universidad de San Pablo, seguida por la UNAM, Campinas, la Universidad de Chile y la UBA.

3.4.4. Performance Ranking of Scientific Papers for World Universities (NTU)20

El ranking de desempeño de artículos científicos para las universidades del mundo, también conocido como el Ranking NTU, es realizado por la Universidad Nacional de Taiwán a partir de 2007. Este ranking provee una clasificación general, una clasificación para seis campos y una clasificación para 14 temas seleccionados. Este sistema de clasificación evalúa el desempeño de los artículos científicos; los indicadores son diseñados para comparar la calidad y cantidad de artículos de este tipo en cada universidad.

Este ranking emplea métodos bibliométricos para analizar y clasificar el desempeño de los artículos científicos en las principales quinientas universidades a nivel mundial. La selección de estas 500 universidades para ser incluidas en este sistema de clasificación se da sobre la base en la información obtenida de Essential Science Indicators (ESI), de la cual es posible sustraer el número de artículos de revista publicados y el número de citaciones.

Tabla 14. Indicadores

El ranking general de universidades para 2015 mostraba en primer lugar a la  Universidad de Harvard, seguida por la Johns Hopkins, la de Toronto, Stanford y Washington-Seattle. Para Latinoamérica, la clasificación de universidades asignaba el primer lugar a la Universidad de San Pablo, seguida por la UNAM, Campinas, Federal de Rio de Janeiro y la UBA.

3.4.5. International Colleges & Universities21

El International Colleges & Universities en un motor de búsqueda de educación superior y de universidades internacionales acreditadas en todo el mundo. Creado en 2005, este motor incluye 11.307 universidades y escuelas, clasificadas por su popularidad en la web en 200 países. El objetivo de este sitio es ofrecer un ranking de popularidad aproximada de universidades y escuelas del mundo basadas en la popularidad de sus sitios web.

Dentro de los rankings que presenta este buscador se encuentran el Ranking Web de Universidades (Top 200 a nivel mundial y Top 100 para cada continente), el de universidades en las redes sociales (universidades en Facebook, Twitter y Linkedin, entre otras), el listado de universidades populares (en Estados Unidos, Reino Unido, Canadá, Australia e India) y el listado de otras instituciones de educación superior (organizaciones relacionadas con educación superior, universidades sin sitio web, universidades y escuelas religiosas, listado alfabético de universidades del mundo).

El ranking se basa en un algoritmo que incluye cinco medidas web parciales e independientes extraídas de tres motores de búsqueda diferentes: Google Page Rank, Alexa Traffic Rank, Majestic Seo Referring Domains, Majestic Seo Citation Flow y Majestic Seo Trust Flow. El valor normalizado de la clasificación se presenta como un promedio ponderado de los valores presentados por los tres motores de búsquedaanteriormente comentados. Este ranking no revela la fórmula exacta para realizar laponderación de los valores por razones de derechos de autor y para minimizar los intentos de manipulación de los webmasters universitarios con el fin de lograr una mejor clasificación.

El ranking de universidades en el mundo para 2015 comprendía las 200 principales y asignaba el primer lugar al MIT, seguido por las universidades de Stanford, Harvard, California-Berkeley y Cornell. En Latinoamérica el top 100 de universidades estaba encabezado por la Universidad Nacional Autónoma de México, seguida por la de San Pablo, la UBA, Brasilia y Monterrey.

4. Una mirada crítica

La globalización de los rankings ha sido siempre controversial. Por un lado, estas "tablas de posiciones" disfrutan de un interés público que en parte tiene que ver con aspectos competitivos y lúdicos de las sociedades. Es atractiva la idea de disponer de una herramienta que permita realizar algo así como un campeonato mundial de universidades. Un periódico reputado por su seriedad informaba recientemente que, en la última versión del ranking de Shanghái, la Universidad de Buenos Aires (UBA) era la mejor universidad de habla española, porque si bien compartía el puntaje con una universidad española estaba un puesto más arriba por el orden alfabético. Una afirmación propia de un adepto a un club de fútbol. También a los tomadores de decisiones políticas la información que ofrecen los rankings les resulta atractiva, por cuanto es fácil de comprender. Es por esto que, como señala Marginson (2006), la creciente popularidad de los rankings con frecuencia deja de lado el análisis de su validez y del modo en que se seleccionan los datos, así como de sus efectos en la organización de los sistemas de educación superior. La mirada crítica suele quedar limitada a ámbitos académicos en los que se cuestiona la objetividad de las tablas de posiciones globales, por los sesgos y los modelos implícitos que conllevan. También se suele criticar a los rankings de universidades por su dimensión normativa, por su metodología y por las fuentes de información que se utilizan en su elaboración. Si bien hay quienes sostienen que evaluar las universidades y aplicar principios de competitividad entre ellas no es necesariamente malo, consideran criticable que promuevan implícitamente un cierto tipo de universidades que en el discurso político se ha impuesto como modelo a seguir (Krüger y Molas, 2010).

En esta doble faceta -repercusión mediática y escasez de análisis crítico- reside uno de los puntos de interés principal para investigar sobre los rankings universitarios en la actualidad y reflexionar acerca de sus fundamentos conceptuales, opciones metodológicas, calidad y disponibilidad de fuentes, así como también la naturaleza de los organismos que construyen los rankings y los complejos procesos de difusión y apropiación de sus resultados (Usher y Savino, 2007).

No son las únicas críticas que reciben los rankings. Se ha señalado que tienden a desconocer y uniformar la diversidad, por lo que tampoco son adecuados para reconocer los diferentes tipos de universidades, teniendo en cuenta que no todas ellas tienen los mismos objetivos ni la misma historia institucional. Es una ficción con poco sustento en la realidad suponer que todas ellas jueguen el mismo juego, o que compitan directamente entre sí para obtener puntajes (Barsky, 2014). Esta crítica coincide con la idea de que los rankings por sí mismos hacen inevitable la competencia entre ellas, cuando se identifica una mejor posición con una mejor calidad (Tomàs et al., 2015).

La definición de "calidad", los criterios que la expresan y los indicadores que la harían mensurable es un problema teórico de difícil resolución. No hay consenso acerca del contenido de los conceptos de "calidad" o "excelencia" en la educación superior. ¿Cómo se traduce la calidad en una variable susceptible de ser medida en una escala? Por otra parte, la calidad no es un atributo homogéneo para cada universidad, sino que varía en gran medida entre las distintas facultades o departamentos. De hecho, existen rankings de facultades o departamentos disciplinarios que con frecuencia arrojan resultados diferentes a los de la universidad en su conjunto (Pérez-Esparrells y Gómez-Sancho, 2010).

La diversidad de perfiles institucionales y la multiplicidad de sus funciones hacen difícil definir la calidad académica de las universidades. En teoría, un buen ranking debería tomar en cuenta la pluralidad de misiones que a éstas les son encomendadas. Esto se refiere tanto a la actividad docente como a la actividad investigadora y la extensión, o a la denominada "tercera misión" que engloba las relaciones de las universidades con su entorno. En la práctica, los rankings simplifican la consideración de las diversas dimensiones y el ordenamiento se sesga en función de la actividad investigadora. Hay algo de ideológico en esta opción, por cuanto se toma como modelo ideal el de las universidades "de investigación" al estilo de Harvard, pero hay también razones de orden práctico, ya que se dispone de mucho conocimiento acumulado en la medición de las actividades de I+D, como lo demuestra la existencia del Manual de Frascati. Además, la investigación es la única actividad que dispone de datos comparables a escala global, como son los que se obtienen a partir de las bases de datos ISI Web of Knowledge o Scopus. Como se verá, algunos rankings se limitan a ordenar las universidades por la única variable de sus publicaciones científicas en revistas de primera línea.

Van Raan (2005) discute los problemas conceptuales y metodológicos de construir rankings de universidades por métodos bibliométricos. Estos mismos aspectos fueron también discutidos por Liu and Cheng (2005). Desde el punto de vista metodológico, existe un debate abierto acerca de los criterios de inclusión (por ejemplo, cómo considerar a los hospitales y centros médicos), de los pesos relativos de las variables, de la interdependencia entre ellas y la razonabilidad de comparar universidades de diferente tamaño, entre otros tópicos.22

Aunque los indicadores de investigación, cuando son medidos por el tipo de publicaciones registradas en dichas fuentes, reciben numerosas críticas, aun cuando se trata de la evaluación en ciencia, su simplicidad es útil para construir una visión global de las universidades. Por el contrario, los indicadores de docencia, o no existen, o son rudimentarios y los de vinculación con el entorno o de "tercera misión", por su dificultad son objeto de análisis en varios proyectos internacionales, entre los que destaca el Manual de Valencia impulsado por la RICYT y la OEI, sin que haya sido posible determinar, hasta el presente, una fórmula que permita incorporar en una comparación internacional aquellos aspectos esencialmente relacionados con los contextos locales.

Con el fin de abordar esta problemática, el IREG (mencionado en el primer apartado) constituyó en 2004 un Grupo Internacional de Expertos sobre Rankings (IREG), mencionado en el apartado anterior. En su segunda reunión, realizada en Berlín en 2006, el Grupo aprobó un documento que contiene un conjunto de principio de calidad y buenas prácticas en la elaboración de rankings de educación superior, conocido como los Berlin Principles on Rankings of Higher Education Institutions (2006).23 El documento expone claramente que los rankings aportan un enfoque de mercado al proceso de evaluación de las instituciones educativas.

La combinación entre objeciones conceptuales profundas y, al mismo tiempo, de fascinación por los rankings está bien ejemplificada en los Principios de Berlín. La lectura de los criterios que se establecen en este documento pone en evidencia la extrema dificultad de construcción de un ranking. Los criterios son presentados al mismo tiempo como estándares para la construcción de rankings y como advertencias sobre los recaudos necesarios para garantizar su credibilidad.

El primer criterio afirma que los rankings son una aproximación, entre otras, a la evaluación de los insumos, procesos y resultados de la educación superior. Es muy interesante que en este punto el texto reconoce que la mirada que sustenta los rankings está basada en el mercado y en atender a su demanda.

El segundo criterio advierte sobre la necesidad de ser claros respecto a los propósitos de cada ranking, así como a los grupos sociales o institucionales a los que está destinado. Los indicadores apropiados para ciertas instituciones pueden no ser adecuados para otras, se reconoce. Es por esto que se advierte que en la construcción de los rankings es preciso reconocer la diversidad de instituciones de educación superior y tomar en cuenta las diferentes misiones y objetivos de cada una de ellas.

El problema de las fuentes de información no está ausente de los Principios de Berlín. En este sentido, se advierte acerca de la necesidad de que los rankings sean transparentes con respecto a sus fuentes de información y al sesgo implícito en cada una de ellas. También se recomienda especificar los contextos lingüísticos, culturales, económicos e históricos de los sistemas educativos en los que las universidades a ser incorporadas al ranking están insertas. El documento especifica que en particular los rankings internacionales deben estar atentos a posibles sesgos. No todos los países o sistemas comparten los mismos valores y las mismas creencias acerca de qué constituye la calidad de las instituciones terciarias. Por eso, se advierte que no se deberían forzar las comparaciones.

El criterio de transparencia es extendido en los Principios de Berlín, no solamente a las fuentes informativas, sino también en lo que se refiere a la metodología usada para crear los rankings. También señalan que se deben elegir los indicadores de acuerdo con su relevancia y validez, a la par que recomiendan como preferible medir los resultados, más que los insumos, siempre que ello sea posible.

¿En qué medida los recaudos que enumera el texto de los Principios de Berlín garantizan la objetividad de los rankings? ¿Es posible llevarlos a la práctica, o la idea de un ranking no competitivo es un oxímoron? Quizás sea pertinente coincidir con Stella y Woodhouse (2006), cuando afirman que parece como si una alerta sobre los peligros de fumar fuera convertida en un documento que dijera: "No hay problemas con fumar siempre y cuando usted evite los peligros del cigarrillo".

5. Un modelo normativo

Apenas quince universidades se alternan en las primeras cinco posiciones de los diez rankings globales que son analizados en este informe. Diez de ellas son norteamericanas, dos son inglesas, una canadiense, una sueca y otra china. Este solo hecho pone en evidencia el hecho implícito de que se trata de un modelo normativo; una suerte de benchmarking que sugiere que, para ser mejores, las universidades deben aspirar a asemejarse a este grupo selecto.

La Universidad de Harvard tiene gran ventaja sobre las demás, ya que aparece primera en ocho de los diez rankings y segunda en otro (QS). Llamativamente, no ocupa ninguno de los cinco primeros puestos en el Times (THE). Otras dos universidades ocupan la primera posición en otros tantos rankings. El Instituto Tecnológico de California es primero en el ranking Times y quinto en el QS. El MIT es primero en el ranking QS, segunda en el U.S. News, tercera en el de Shanghái (ARWU), lo mismo que en el WEBO, CWUR y SCImago. Aparece también quinta en el Times (THE). La Universidad de Stanford está también presente en las primeras cinco posiciones de nueve de los diez rankings. Es cuatro veces segunda (Shanghái, WEBO, CWUR y SCImago), una vez tercera (THE) y tres veces cuarta (U.S. News, QS y NTU) puntúa en cuatro rankings, con posiciones entre tercera, cuarta y quinta.

Tabla 15. Primeras posiciones en rankings

Las restantes universidades de este primer escalón tienen apariciones más esporádicas. Seis de ellas son de los Estados Unidos: Berkeley, Cornell, Michigan, Washington, John Hopkins y Rockefeller. A ellas se agregan dos: una canadiense (Toronto) y una china (Zhejiang).

El predominio de las universidades de los Estados Unidos es evidente, así como también lo es que Harvard constituye el modelo de mayor excelencia. Por este motivo, llama la atención que en el ranking Times no figure en los primeros puestos. La explicación parecería estar en el hecho de que este ranking, como se analizó en la subsección 5.1.2., concede una tercera parte del puntaje a las encuestas de reputación, lo que disminuye el peso relativo de indicadores "objetivos" como los bibliométricos o el número de Premios Nobel. El hecho de que el ranking sea de origen inglés puede haber influido en que la Universidad de Oxford aparezca en el segundo lugar y la de Cambridge en el cuarto.

Ahora bien, este extraordinario desempeño de Harvard y un pequeño grupo de universidades ya reputadas por la calidad de la investigación que realizan permite pensar que los rankings están diseñados sobre la base de su modelo, ya que, si no fuera así, sería evidente la inutilidad de tal esfuerzo, ya que sólo se trataría de intentar demostrar lo obvio: las primeras universidades de investigación son aquellas que más investigan. Una verdadera tautología.

Un fenómeno similar, pero aún más concentrado, se observa con respecto a las universidades latinoamericanas cuando se las compara a nivel regional. En este caso, la Universidad de San Pablo ocupa el primer lugar en nueve de los diez rankings y es la segunda del restante. Ninguna otra universidad latinoamericana se aproxima siquiera a tal desempeño. La UBA es la primera en el ranking QS, pero su resultado general es muy inferior: dos veces ocupa el segundo puesto: Shanghái (ARWU) y URAP; dos veces el cuarto (CWUR y U.S. News) y dos veces el quinto (WEBO y NTU).

La Universidad de Campinas no ocupa el primer lugar en ningún caso, pero aparece entre las primeras posiciones de nueve de los diez rankings: tres veces en la segunda posición (Times, Leiden y SCImago), tres veces en la tercera (WEBO, U.S. News y NTU), una vez en la cuarta (QS) y dos en la quinta (ARWU y URAP). El resto de las universidades tienen un desempeño inferior. La UNAM es segunda en dos ocasiones (WEBO y NTU), tercera en otras dos (CWUR y SCImago) y quinta en U.S. News. Las dos principales universidades chilenas aparecen cuatro veces cada una entre el tercero y el quinto puesto. Otras tres universidades tienen esporádicas apariciones en el top five de los rankings analizados. Se trata de la Universidad Federal de Rio de Janeiro, la Universidad Estadual Paulista y la Federal de Rio Grande do Sul (UFRGS).

En cambio, el panorama de las universidades latinoamericanas muestra más dispersión en los rankings globales, cuando se las compara con las del resto del mundo. La Universidad de San Pablo está undécima en el ranking de Leiden, baja a la posición 35 en el URAP, 49 en WEBO, 58 en el NTU, 76 en SCImago, 117 en U.S. News, 138 en el CWUR y en el rango entre 201 y 250 en el Times. Campinas oscila en posiciones entre el nivel 300 y el 400. La UBA es más desconcertante porque oscila entre el puesto 124 y el 372. La Universidad de Chile está entre el puesto 501 y 600 para el Times, pero sube al puesto 209 para el QS y 274 para el WEBO. La UNAM varía entre el puesto 62 para WEBO, 313 en SCImago, 341 en CWUR y 359 en U.S. News. Las restantes latinoamericanas registran oscilaciones similares en posiciones cercanas a los puestos 200 a 300.

Sobre el particular, Rodolfo Barrere observa que la dispersión de las universidades latinoamericanas puede estar relacionada con dos fenómenos: por un lado, los indicadores que se eligen y, por el otro, la tendencia a la concentración. 24 En el caso del primer fenómeno, se refiere que la elección de indicadores que dividen aguas en los primeros puestos (el modelo normativo), pero remiten a aspectos muy poco frecuentes en América Latina (como los Premios Nobel y, en menor medida, los papers en Nature y Science), ocasiona que pequeños cambios generen saltos considerables. Así, si una universidad publicara dos artículos en Nature o Science en un año, probablemente no sería cualitativamente tan diferente a lo que era el año anterior, pero subiría muchos puestos en el ranking. Con mucha más razón, si se diera el poco frecuente caso de que un docente o un ex alumno saque un Nobel. En cuanto al segundo fenómeno señalado, la variabilidad puede ser atribuida al hecho de que en el caso de los indicadores de educación superior se produce una distribución de Pareto similar a la que se observa en los indicadores de I+D. Como las universidades latinoamericanas no pertenecen al 20% superior, sino al 80% restante, aparecen al final de la distribución y la diferencia entre ellas es mínima. Por ese motivo una pequeña variación en el número de papers, por ejemplo, puede modificar muchos puestos de diferencia en la distribución.

Conclusiones

En este trabajo se han revisado los rankings internacionales de universidades más conocidos, algunos de ellos multidimensionales y otros unidimensionales; estos últimos, generalmente centrados sobre la investigación. En efecto, la mayoría de los rankings otorgan un fuerte peso relativo a la actividad investigadora o están dedicados exclusivamente a ella, ya sea por ajustarse a un modelo que identifica la calidad de las universidades con su fortaleza en investigación, o por simplificación metodológica, debido a la mayor facilidad para obtener datos objetivos de esta función, en relación con las restantes, tales como la docencia, extensión o vinculación tecnológica. Un modelo normativo sostiene el hecho de que los rankings globales estén orientados a la medición de los resultados científicos y contribuyan a potenciar así la actividad de investigación como sinónimo de calidad educativa. Es objetable, sin embargo, que la calidad de una universidad sea evaluada con una metodología unidimensional.

El resultado práctico es que, al examinar los listados jerarquizados de los rankings internacionales, se advierte un dominio casi absoluto de las universidades de los Estados Unidos. Sólo esporádicamente universidades inglesas logran ubicarse en las primeras posiciones. Más esporádicamente aún, aparecen en los primeros puestos algunas universidades de Canadá, Francia y China.

Las universidades que aparecen en los primeros puestos de estas clasificaciones tienen una alta reputación; es decir, son ampliamente conocidas públicamente como universidades de primera categoría. Se trata, en todos los casos, de universidades intensivas en investigación y que disponen de grandes presupuestos destinados a tal fin. Por el contrario, cuando se analizan las mejor clasificadas a nivel de América Latina, se comprueba que la dispersión es mucho mayor y que sólo unas pocas logran entrar en las clasificaciones globales, lo que va asociado al hecho de que los recursos de que disponen para investigar son mucho más escasos y los datos contextuales son diferentes.

Un aspecto no menor a tener en cuenta es que, como señalan varios autores, la finalidad implícita de los rankings puede estar vinculada con la construcción de un mercado académico global. En este sentido, la competencia entre las universidades por el reclutamiento de estudiantes de todo el mundo puede estar basada en el equívoco -que precede a los rankings, pero que éstos refuerzan- de que la visibilidad de la investigación garantiza la calidad de la educación. Este equívoco se traslada al mercado de trabajo, otorgando diferenciales de prestigio-desprestigio a los graduados, sin que ello predique en forma correcta acerca de la calidad de la formación alcanzada.

En casi todos los rankings analizados, se observa el supuesto tácito de que, si una institución es altamente competitiva en investigación, la calidad de la educación que ofrece debe ser también muy alta. Este supuesto es incorrecto, particularmente en lo que se refiera a las universidades latinoamericanas, que deben dar respuesta a una fuerte demanda social en un contexto muy diferente al de las universidades propuestas como modelos a seguir. Otras funciones, como la docencia, la extensión y la vinculación con el entorno, que son esenciales para evaluar el desempeño de las universidades latinoamericanas, no son tenidas en cuenta suficientemente en los rankings internacionales de universidades. Éstos no miden, o lo hacen en forma sesgada, aspectos tan importantes como el tipo y la calidad de la docencia, la formación permanente, la inserción laboral, la contribución al desarrollo territorial y otros que definen mejor la misión social de las universidades en países con una gran necesidad de formación de profesionales y de difusión de una cultura científica. Por eso tiene sentido el propósito de construir indicadores de educación superior que hagan visibles otras variables.

La calidad de las universidades no puede ser determinada por una sola de sus funciones y, en el límite, tampoco por el conjunto de ellas. Anticipándose varias décadas a esta discusión, Risieri Frondizi (1986) afirmaba en 1941, con una mirada filosófica, que "puede una universidad cumplir con sus tres funciones esenciales y sin embargo no cumplir la misión social más elemental". Y al desarrollar esta idea afirmaba que "si trasladáramos idealmente una de las grandes universidades europeas o norteamericanas, con todo su organismo completo a nuestra Patagonia, por ejemplo, esa universidad continuaría, idealmente, cumpliendo mejor que nuestras  propias universidades con las tres funciones específicas. Sin embargo, su existencia no tendría sentido porque no respondería a una necesidad social". Aplicar el modelo normativo que proponen los rankings internacionales y tratar de imitar a "las grandes universidades europeas o norteamericanas" es, probablemente un esfuerzo tan carente de sentido como trasladarlas a la Patagonia.

Notas

1. El Centro Europeo de Educación Superior (UNESCO-CEPES) constituyó en 2004 un Grupo de Expertos sobre Rankings Internacionales (IREG), que adoptó la denominación de IREG Observatory on Academic Ranking and Excellence.

2. Más información disponible en: http://www.shanghairanking.com.

3. La Medalla Internacional para Descubrimientos Sobresalientes en Matemáticas, conocida como Medalla Fields, es una distinción que concede la Unión Matemática Internacional para suplir la carencia de un Premio Nobel de matemáticas. Su nombre le fue dado en memoria del matemático canadiense John Charles Fields.

4. Más información disponible en: https://www.timeshighereducation.com/world-university-rankings.

5. Más información disponible en: http://www.topuniversities.com.

6. Más información disponible en: http://www.leidenranking.com.

7. Docente investigador de la Universidad Nacional de la Patagonia Austral. Coordina la Red Iberoamericana de Indicadores de Educación Superior. Comentario realizado personalmente a los autores.

8. Más información disponible en: http://cwur.org.

9. Más información disponible en: http://www.urapcenter.org/2015/.

10. Más información disponible en: http://www.shanghairanking.com/es/SubjectMathematics2015.html#.

11. Más información disponible en: http://www.shanghairanking.com/es/FieldSCI2015.html.

12. El Premio Turing es un premio de las ciencias de la computación que otorga anualmente la Asociación para la Maquinaria Computacional (ACM) por las contribuciones al campo de las ciencias computacionales.

13. Más información disponible en: http://www.u-multirank.eu.

14. Más información disponible en: http://www.usnews.com/education/best-global-universities.

15. Más información disponible en: http://www.che-ranking.de/cms/?getObject=2&getLang=de.

16. Más información disponible en: http://www.u-ranking.es.

17. Más información disponible en: http://www.scimagoir.com/.

18. Se toma el caso del ranking de innovación, específicamente para "conocimiento innovador".

19. Más información disponible en: http://www.scimagojr.com.

20. Más información disponible en: http://nturanking.lis.ntu.edu.tw.

21. Más información disponible en: http://www.4icu.org.

22. "Comparing university rankings" - Isidro F. Aguillo, Judit Bar-Ilan, Mark Levene y José Luis Ortega. Recibido el 19 de noviembre de 2009 y publicado online el 23 de febrero de 2010. Akadémiai Kiadó, Budapest, Hungría.

23. Más información disponible en: http://ireg-observatory.org/en/pdfy/IREG-Guidelines_Spanish.pdf.

24. Rodolfo Barrere es investigador del Observatorio Iberoamericano de la Ciencia, la Tecnología y la Sociedad de la Organización de Estados Iberoamericanos (OCTS-OEI) y coordinador de la Red de Indicadores de Ciencia y Tecnología -Iberoamericana e Interamericana- (RICYT). El comentario fue realizado personalmente a los autores.

Bibliografía

1 AGUILLO, I. (2012): "Rankings de Universidades: El Ranking Web", Higher Learning Research Communications, vol. 2, n° 1. Disponible en: www.hlrcjournal.com/index.php/HLRC/article/download/56/64 .         [ Links ]

2 BARSKY, O. (2014): La evaluación de la calidad académica en debate: los rankings internacionales de las universidades y el rol de las revistas científicas, Buenos Aires, Ed. Teseo, Universidad Abierta Interamericana.         [ Links ]

3 BENGOETXEA, E. y BUELA-CASAL, G. (2012): "The new multidimensional and user- driven higher education ranking concept of the European Union", International Journal of Clinical and Health Psychology, vol. 13, pp. 67?73. Disponible en: http://www.sciencedirect.com/science/article/pii/S1697260013700097 .         [ Links ]

4 BRISOLLA, S. (2010): "Rankings de universidades: ¿para qué y cómo construirlos?", Los foros de CTS, Edición especial 2015 - Revista Iberoamericana de Ciencia, Tecnología y Sociedad - CTS, pp. 79-84. Disponible en: http://www.revistacts.net/los-foros-de-cts/309-ejes-tematicos/703-eje-3-ciencia-y-universidad.         [ Links ]

5 FEDERKEIL, G. et al. (2012): "Classifications and Rankings", en F. A. Van Vught y F. Ziegele (eds.): Multidimensional Ranking The Design and Development of U- Multirank. Disponible en: http://www.springer.com/us/book/9789400730045.         [ Links ]

6 FRONDIZI, R. (1986): Ensayos Filosóficos, México DF, Fondo de Cultura Económica.         [ Links ]

7 HAZELKORN, E. (2015): Rankings and the Reshaping of Higher Education. The Battle for World-Class Excellence, Nueva York, Palgrave MacMillan.         [ Links ]

8 IREG - OBSERVATORY ON ACADEMIC RANKING AND EXCELLENCE (2015):Pautas para grupos de interés de rankings académicos. Disponible en: http://ireg-observatory.org/en/pdfy/IREG-Guidelines_Spanish.pdf.         [ Links ]

9 LIU, N. y CHEN, Y. (2005): "Academic Ranking of World Universities - Methodologies and Problems", Higher Education in Europe, vol. 30.         [ Links ]

10 MARGINSON, S. (2006): "Global university rankings: private and public goods", 19o Annual CHER conference, Kassel, 7-9 de septiembre.

11 MOED, H., BURGER, W., FRANKFORT J. y VAN RAAN, A. (1984): "The use of bibliometric data for the measurement of university research performance", Research Policy and Science Studies Unit, Bureau Universiteit, University of Leiden.         [ Links ]

12 PÉREZ-ESPARRELLS, C. y GÓMEZ-SANCHO, J. (2010): "Los rankings internacionales de las instituciones de educación superior y las clasificaciones universitarias en España: visión panorámica y prospectiva de futuro", Documento de trabajo No 559/2010, Fundación de las Cajas de Ahorros, Madrid.         [ Links ]

13 PÉREZ RASETTI, C. (2015): "En contra de los rankings de universidades: el marketing pretencioso", Los foros de CTS, Edición especial 2015 - Revista Iberoamericana de Ciencia, Tecnología y Sociedad - CTS, pp. 75-78. Disponible en: http://www.revistacts.net/los-foros-de-cts/309-ejes-tematicos/703-eje-3-ciencia-y-universidad.         [ Links ]

14 RAUHVARGERS, A. (2011): Global University Rankings and their Impact, European University Association.         [ Links ]

15 STELLA, A. y WOODHOUSE, D. (2006): Ranking of Higher Education Institutions, Occasional Publications n° 6, Australian Universities Quality Agency (AUQUA).         [ Links ]

16 TOMÀS FOLCH, M, FEIXAS, M., BERNABEU-TAMAYO, M. y RUIZ RUIZ, J. (2015): "La literatura científica sobre rankings universitarios: una revisión sistemática", REDU - Revista de Docencia Universitaria, vol. 13, n° 3, pp. 33-54.         [ Links ]

17 USHER, A. y SAVINO, M. (2007): "A Global Survey of University Ranking and League Tables", Higher Education in Europe, vol. 32, n° 1.         [ Links ]

18 VAN RAAN, A. (2005): "Fatal attraction: Conceptual and methodological problems in the ranking of universities by bibliometric methods", Scientometrics, vol. 62, n° 1, pp. 133-143.         [ Links ]