MONOGRÁFICO

Rankings de universidades: calidad global y contextos locales *

Rankings de universidades: qualidade global e contextos locais

University Rankings: Global Quality and Local Contexts

Mario Albornoz y Laura Osorio **

* Este artículo amplía y actualiza el texto original publicado por CTS en su número 34, titulado “Uso público de la información: el caso de los rankings de universidades” y disponible aquí: https://goo.gl/rdfcmv.

** Mario Albornoz: investigador principal jubilado de CONICET, Argentina. Co-director de la Revista Iberoamericana de Ciencia, Tecnología y Sociedad -CTS y coordinador del Observatorio Iberoamericano de la Ciencia, la Tecnología y la Sociedad (OCTS-OEI). Correo electrónico: albornoz@ricyt.org. Laura Osorio: investigadora del OCTS-OEI. Correo electrónico: losorio.oei@gmail.com.

---

Los rankings de universidades han adquirido gran visibilidad en el campo de las políticas de educación superior y en las estrategias de su desarrollo institucional. Su repercusión alcanza a los medios de comunicación en todo el mundo. La cantidad y la variedad de rankings globales, nacionales y especializados en Estados Unidos, Europa y Asia han aumentado en los últimos años, generando un gradiente de calidad que se convierte en una suerte de modelo normativo a tener en cuenta por las políticas y las instituciones de educación superior en América Latina. Este trabajo lleva a cabo un abordaje conceptual a los rankings de mayor difusión, examinando críticamente el modelo de calidad implícito y los criterios teóricos y metodológicos que estructuran los rankings globales. En particular, se reflexiona acerca de la tensión entre los enfoques globales y los contextos locales.

Palabras clave: Rankings; Educación superior; Indicadores; Universidad

Os rankings de universidades ganharam grande visibilidade no campo das políticas de educação superior e nas estratégias de seu desenvolvimento institucional. Sua repercussão alcança as mídias em todo o mundo. A quantidade e variedade de rankings globais, nacionais e especializados nos Estados Unidos, Europa e Ásia tem aumentado nos últimos anos, gerando um gradiente de qualidade que constitui uma espécie de modelo normativo a ser levado em consideração pelas políticas e instituições de educação superior na América Latina. Este trabalho realiza uma abordagem conceitual dos rankings de maior divulgação, examinando criticamente o modelo de qualidade implícito e os critérios teóricos e metodológicos que estruturam os rankings globais. Particularmente, reflete-se sobre a tensão entre as abordagens globais e os contextos locais.

Palavras-chave: Rankings; Educação superior; Indicadores; Universidade

University rankings have become a staple in the fields of higher education policy and institutional development strategy. Their impact is echoed in the media around the world. The number and diversity of rankings, global, national and specialized, in the United States, Europe and Asia have increased in the past few years, developing into a quality scale that created a body of regulations of sorts that Latin American higher education policies and institutions have to consider. This paper is a conceptual approach to the most widely used rankings, undertaking a critical examination of the implicit quality model and the theoretical and methodological criteria that guide them. Specifically, it discusses the existing tension between global approaches and local contexts.

Keywords: rankings; Higher education; Indicators; University

---

Introducción

Los rankings de universidades han adquirido en los últimos años una gran visibilidad y su impacto alcanzó, no solamente a los actores directamente involucrados en lagestión de la educación superior, sino también a la opinión pública, a través de su repercusión en los medios periodísticos. Al tiempo que ganaban un lugar muy destacado en el debate acerca de la calidad de las universidades, los rankings se multiplicaron y aumentó su variedad.

En su origen se trató de un producto norteamericano destinado al consumo de un público local que se apoyaba en ellos para tomar decisiones relativas a la elección de las universidades en las que cursar estudios, pero luego se globalizaron, difundiéndose sobre todo en los países de Asia y de Europa. La aceptación social de los rankings universitarios en la sociedad norteamericana se debió a que, en el contexto de las características de su sistema de educación superior, dieron respuesta a la necesidad de los estudiantes y sus familias de contar con herramientas que facilitaran la toma de decisiones a la hora de escoger la universidad o college más adecuados a sus posibilidades y aspiraciones. Un ejemplo de este tipo de instrumento es el U.S. News & World Report Best Colleges, que empezó a publicarse en 1985 (Tomàs et al., 2015).

El fenómeno adquirió otras dimensiones a partir de la divulgación de los rankings internacionales de Shanghái, el QS World University Ranking y el Times Higher Education Supplement. El primero de ellos -Shanghái Jiao Tong University’s Academic Ranking of World Universities- fue publicado por primera vez en 2003, el QS World University Ranking fue creado en 2004 y publicado de manera individual en 2010, y el Times Higher Education World University Ranking en 2010 (Tomàs et al., 2015; Barsky, 2014). Algunos rankings globales están centrados en aspectos más restringidos -la información disponible en sitios web, por ejemplo-, como el Webometrics Ranking of World Universities, o las publicaciones científicas producidas por las universidades, como el SCImago Institutions Ranking. Constituyen también un fenómeno relativamente reciente.

América Latina no fue una excepción al fenómeno expansivo de los rankings universitarios y su impacto en las instituciones y las comunidades académicas locales fue también muy rápido, aunque suscitó reacciones encontradas. En Argentina, como en otros países de la región, la prensa generalmente se ha hecho eco de ellos, pero en los medios académicos se critica la metodología con la que son elaborados, su implícita normatividad y las consecuencias de su aplicación a los procesos evaluativos. En los últimos años, la baja ubicación que en general asignan los principales rankings a las universidades latinoamericanas ha encendido el debate sobre este tema en el medio universitario, en el que se cuestiona el sistema de valores que conlleva el ordenamiento. No obstante, algunas universidades eventualmente mejor posicionadas en algún ranking han aprendido a valerse de ellos a la hora de publicitar sus cursos, negociar presupuestos o fortalecer su imagen ante la opinión pública.

Analizar la emergencia de este fenómeno y su significado plantea desafíos de orden teórico y metodológico que comprenden los objetivos de los rankings, las definiciones de calidad que se adoptan, las unidades de análisis, las dimensiones y los indicadores que se eligen, las fuentes que se utilizan, los criterios de ponderación, la forma de organización de los resultados y las modalidades de difusión pública de sus resultados.

Lejos de adoptarlos como dictámenes incuestionables, los rankings internacionales que miden aspectos tales como la competitividad (como el Global Competitiveness Report del World Economic Forum), la actitud innovadora (como el Índice Mundial de Innovación de la OMPI) o la calidad de las universidades, como los que se revisan en este informe, merecen un examen crítico, para entender qué es lo que están diciendo, si es que algo dicen. La mirada crítica debería focalizarse tanto sobre el plano metodológico como sobre el teórico, ya que su modelo implícito no solamente atañe a los criterios de selección de las variables, sino al peso relativo que se asigna a cada una de ellas. Por otra parte, la propia mirada globalizadora busca inducir la idea de que se trata de una “tendencia mundial” y de este modo apelar una vez más a la noción de “camino único” y a no tomar suficientemente en cuenta la peculiaridad de los contextos locales. Hay suficiente consenso acerca de este problema, al que se le han propuesto soluciones, pero no resulta claro que sea por la vía del diseño técnico que se pueda evitar el efecto normalizador que induce a lo imitativo, más que a la reflexión acerca de la singularidad y de la adecuación a entornos concretos. Todos estos aspectos involucran opciones valorativas, conceptuales y metodológicas que es preciso examinar con atención. Así son analizados en este texto y en los diferentes artículos que componen este monográfico.

1. Los rankings como instrumento competitivo

La idea misma de ranking está asociada a la competencia. Desde un punto de vista técnico, todo ordenamiento numérico en función de una variable configura un ranking, ya sea que se trate de valores puramente cuantitativos (como el número de publicaciones científicas) o de indicadores relacionales (como el número de publicaciones por investigador). Desde un punto de vista simbólico, sin embargo, la idea de ranking conlleva la de ganadores y perdedores. Barsky (2014) señala, en tal sentido, que los rankings tienen un origen deportivo. Lo cierto es que, en la opinión pública y también en los sitios en los que se adoptan decisiones políticas, la inicial oferta de información orientada a elegir más acertadamente se transformó en una competencia por aparecer en los primeros puestos, como si se tratara de la tabla deposiciones de un campeonato. Esta figura es utilizada por algunos autores como metáfora para enfatizar el aspecto competitivo implícito en los rankings universitarios (Rauhvargers, 2011).

La elaboración de rankings al modo de “tablas de posiciones” se inició en EstadosUnidos en los 80, continuó en el Reino Unido y tenía un foco más restringido: el mundo de la economía y los negocios. En efecto, las primeras clasificaciones trataban de identificar las mejores escuelas de negocios (business schools). Aquellos primeros rankings fueron desarrollados por publicaciones económicas como Business Week, U.S. News & World Report, Financial Times, The Economist o el Wall Street Journal (Pérez-Esparrells y Gómez-Sancho, 2010).

Un aspecto paradójico implícito en esta metamorfosis de base de datos útiles para la toma de decisiones a campeonato es que se trata de una competencia con reglas de juego, o bien desconocidas, o bien arbitrarias. ¿Qué significa subir o bajar posiciones en el ranking? ¿Formar mejores graduados, responder mejor a la demanda de formación profesional, tener menores tasas de deserción, dinamizar culturalmente el entorno social, obtener reconocimientos por la investigación, transferir conocimiento tecnológico, patentar? La lista de dimensiones propias de la vida universitaria puede seguir, pero su priorización depende de un sistema de valores que alguien determinó y que no necesariamente son explícitos o están contrapesados con otros que no han sido tomados en cuenta.

El hecho de que todo ranking exprese un sistema de valores implica que, en realidad, se trata de un acto evaluativo que se concreta en un conjunto de criterios con el que se seleccionan variables y se les atribuye significación. Así, medir publicaciones científicas, por ejemplo, responde a la idea de productividad de la investigación y, si se las mide a través de ciertas bases de datos internacionales, se agrega un sesgo que abre puertas a la polémica, particularmente en ciertas disciplinas más vinculadas con objetos de estudio de mayor interés local que internacional. Es evidente que, aplicado a la confección de rankings de universidades, este dato lleva implícito el modelo de las universidades de investigación como criterio de calidad. Éste es un punto central de la controversia. Algunos autores afirman que los rankings universitarios tienen por objeto establecer un orden jerárquico de las instituciones de educación superior basándose en parámetros e indicadores que pretenden medir la calidad de la educación universitaria, de la investigación y otros aspectos de la actividad académica. (Tomàs et al., 2015). Afirmaciones tan genéricas no despejan el problema, ya que el concepto de calidad es muy difícil de conceptualizar. En el caso de las universidades latinoamericanas, una queja recurrente es que las variables elegidas para confeccionar un ranking y el peso relativo que se les asigna jerarquizan un concepto de calidad que no condice con la pluralidad de modelos de universidades y la función social que éstas cumplen.

Elegir una variable para ordenar una realidad es el resultado de una conceptualización previa acerca de su significado y relevancia. Esto se hace más evidente cuando se trata de indicadores relacionales que suponen una combinación de variables, lo que vuelve más complejas su carga de valores y sus hipótesis significativas. Es necesario comprender lo que un indicador dice (cuáles son las variables que combina), lo que no dice (qué variables eventualmente significativas no han sido tomadas en cuenta) y por qué lo dice; esto es, cuál es la visión modélica que da significación al dato. Que las publicaciones en el Science Citation Index o en Scopus sean de gran relevancia en la determinación del nivel de calidad de las universidades refleja una determinada visión de lo que se entiende por este concepto, asimilado en gran medida a la excelencia en investigación, lo que supone, como modelo normativo ideal, el de la universidad científica. Sin embargo, las cosas son más complejas, ya que, en materia de evaluación de la investigación, el concepto de “calidad” es fluido y varios trabajos empíricos han mostrado que los científicos definen la calidad de formas muy diferentes e incluso con enfoques antagónicos. Por ejemplo: ¿forma parte la relevancia social del concepto de calidad de la investigación? Dar una respuesta afirmativa implicaría que es fundamental tomar en cuenta los contextos sociales y que sería imposible medir calidad sólo con bibliometría.

2. El problema de los contextos

Uno de los intentos más claros de dar respuesta a la cuestión de las diferencia contextuales la proporcionó el Centro Europeo de Educación Superior de UNESCO a través de la convocatoria a un grupo de expertos (IREG), a quienes se demandó analizar el problema y formular recomendaciones.1 En su segunda reunión, realizada en Berlín en 2006, el grupo aprobó un documento que contiene un conjunto de principio de calidad y buenas prácticas en la elaboración de rankings de educación superior, conocido como los Berlin Principles on Rankings of Higher Education Institutions (2006). 2 El documento expone claramente que los rankings aportan un enfoque de mercado al proceso de evaluación de las instituciones educativas.

La combinación entre objeciones conceptuales profundas y, al mismo tiempo, de fascinación por los rankings está bien ejemplificada en los Principios de Berlín. La lectura de los criterios que se establecen en este documento pone en evidencia la extrema dificultad de construcción de un ranking. Los criterios son presentados al mismo tiempo como estándares para la construcción de rankings y como advertencias sobre los recaudos necesarios para garantizar su credibilidad. El primer criterio afirma que los rankings son una aproximación, entre otras, a la evaluación de los insumos, procesos y resultados de la educación superior. Es muy interesante que en este punto el texto reconozca que la mirada que sustenta los rankings está basada en el mercado y en atender a su demanda. El segundo criterio advierte sobre la necesidad de ser claros respecto a los propósitos de cada ranking, así como a los grupos sociales o institucionales a los que está destinado. Los indicadores apropiados para ciertas instituciones pueden no ser adecuados para otras, se reconoce. Es por esto que se advierte que en la construcción de los rankings es preciso reconocer la diversidad de instituciones de educación superior y tomar en cuenta las diferentes misiones y objetivos de cada una de ellas.

El problema de las fuentes de información no está ausente de los Principios de Berlín. En este sentido, se advierte acerca de la necesidad de que los rankings sean transparentes con respecto a sus fuentes de información y al sesgo implícito en cada una de ellas. También se recomienda especificar los contextos lingüísticos, culturales, económicos e históricos de los sistemas educativos en los que las universidades a ser incorporadas al ranking están insertas. El documento especifica que en particular los rankings internacionales deben estar atentos a posibles sesgos. No todos los países o sistemas comparten los mismos valores y las mismas creencias acerca de qué constituye la calidad de las instituciones terciarias. Por eso, se advierte que no se deberían forzar las comparaciones. El criterio de transparencia comprende, en los Principios de Berlín, no solamente a las fuentes informativas, sino también en lo que se refiere a la metodología usada para crear los rankings. También señalan que se deben elegir los indicadores de acuerdo con su relevancia y validez, a la par que recomiendan como preferible medir los resultados, más que los insumos, siempre que ello sea posible.

El documento reconoce que la difusión de los rankings se relaciona con cambios de tendencias en los contextos de la educación superior y de las relaciones entre las universidades, las demandas sociales y las políticas de educación superior. Por ello asigna gran importancia a la necesidad de constatar los problemas conceptuales, metodológicos y de información que pueden presentar los rankings, así como la crítica a sus eventuales impactos negativos sobre sistemas e instituciones.

Planteado de este modo, el problema de los contextos se dirime en un doble sentido: de un lado, los contextos locales de cada universidad, con las dificultades que conlleva su consideración en un modelo general; y de otro lado, los contextos más generales que incluyen a los rankings y explican su aparición. En el primer sentido, el problema de los contextos puede ser visto como un caso más de la tensión entre lo global y lo local, en la era de la “globalización”; en el segundo sentido, los propios rankings pueden ser vistos como una manifestación de cambios -que los exceden- en los contextos en los que se desempeñan las instituciones de educación superior. Desde esta perspectiva, se han señalado tres transformaciones recientes que deberían ser tenidas en cuenta como condicionamientos contextuales:

a) La primera de ellas es la creciente internacionalización de la educación superior.  Este fenómeno es interpretado como síntoma de la transición hacia “economías intensivas en conocimiento” y a la búsqueda global de talentos (Hazelkorn, 2015). Se afirma que el auge reciente de los rankings está sin duda ligado a tal proceso, ya que aspiran a tener un alcance global y ordenar jerárquicamente las universidades de todos los países en un mismo espacio académico mundial.

b) La segunda remite a las tendencias de mercantilización de la educación universitaria. Estas tendencias abarcan diversos aspectos, pero son particularmente importantes (en relación con el punto anterior) en la constitución de mercados de alcance global o regional de estudiantes y de académicos. Se ha señalado acertadamente que el surgimiento de mercados para el conocimiento especializado significa que el juego está cambiando para cada conjunto de instituciones, aunque no lo haga necesariamente del mismo modo o a la misma velocidad (Gibbons et al., 1997). Muchos asignan a los rankings desde su origen la misión de aportar información para la toma de decisiones en el mercado académico. En el mismo sentido, se señala que alientan una “carrera por la reputación” destinada a incidir en la elección de universidades por parte de los estudiantes (Hazelkorn, 2015).

c) Una tercera transformación con la que se relaciona la difusión de los rankings remite a los cambios en las modalidades de gestión de sistemas e instituciones, que en forma creciente ponen en primer plano las vinculaciones de las instituciones con diversos actores. A esto también se refieren Gibbons et al. (1997) cuando señalan que se tiende a la creación de una red global cuyo número de interconexiones se expande continuamente, y que como consecuencia de ello las comunicaciones y los flujos de información resultan cruciales. Un aspecto de tales vinculaciones es el de la provisión, por parte de las instituciones, de información confiable y accesible sobre su desempeño.

¿En qué medida los recaudos que enumera el texto de los Principios de Berlín garantizan la objetividad de los rankings? ¿Es posible llevarlos a la práctica, o la idea de un ranking no competitivo es un oxímoron? ¿Cómo hacer compatible la idea de un orden de méritos global de la calidad de las universidades con el reconocimiento de su necesaria integración en contextos locales de los que surgen demandas a las que las universidades deben dar respuesta?

3. Tipos de rankings

Para ordenar los diferentes tipos de rankings se tomarán en cuenta sus propósitos y algunos aspectos conceptuales y metodológicos relevantes. El IREG (2015), en sus “pautas para grupos de interés de rankings académicos”, señala que es posible distinguir entre rankings unidimensionales o multidimensionales. Por los primeros se entiende que son aquellos que “evalúan el desempeño de acuerdo con una serie de indicadores, con un peso específico para cada indicador”; por los segundos, aquellos que “proporcionan una serie de tablas de puntuaciones en lugar de sólo un listado general, lo que permite a los usuarios ponderar los indicadores de acuerdo con sus propias preferencias y construir rankings personalizados” (IREG, 2015).

La distinción que formula el IREG, así como las definiciones que emplea, son en cierto modo contraintuitivas, ya que se considera unidimensional a un ranking conformado por un conjunto de variables ponderadas (lo que intuitivamente podría ser comprendido como multidimensional), debido a que el resultado es un único valor que expresa el posicionamiento de cada universidad en el orden que surja de la operación y sintetizaría de este modo una dimensión única: la calidad supuesta de cada universidad. En cambio, los unidimensionales no constituirían un ranking único, sino un conjunto de variables medidas en forma separada, ofreciendo un menú que cada usuario puede combinar a su antojo. U-Multirank, como se verá más adelante, sería un exponente de este tipo. Desde otra perspectiva, los objetos son los mismos, pero la definición es inversa. Así, los rankings multidimensionales son definidos por Bengoetxea y Buela-Casal (2012) como aquellos que abarcan la diversidad de las misiones de las instituciones de educación superior y no sólo la excelencia en investigación. Estos rankings pueden ser considerados como generales, si toman en cuenta más de una variable, o específicos, cuando se elaboran tomando en cuenta una sola categoría y están destinados a valorar aquellos aspectos únicos en los que las instituciones individualmente pueden destacarse.

Otra forma de ordenar los rankings universitarios es hacerlo por países, regiones, globales y especializados (Barsky, 2014). Los rankings por países son aquellos que se centran en el desempeño de las universidades en su contexto particular para compararlas con otras universidades del mismo país. Por su parte, los rankings globales, que también son conocidos como rankings mundiales y rankings internacionales, son aquellos que realizan una cobertura más amplia de universidades a nivel mundial para realizar comparaciones (Aguillo, 2012; IREG, 2015). La mayor parte de las dificultades se presentan con este tipo de rankings, que construyen comparaciones de universidades insertas en contextos sociales, económicos y culturales muy diferentes. Si se los analiza en función de sus fuentes de información, es posible distinguir entre otros:

a) Rankings basados en encuestas de opinión: en esta categoría se encuentran los rankings QS y Times Higher Education, que basan sus resultados en encuestas de opinión, si bien se los combina con otros datos objetivos.

b) Rankings basados en bibliometría/cibermetría: en esta categoría se ubican los rankings que hacen uso casi exclusivamente de datos cuantitativos derivados de resultados de investigación (artículos científicos y citas bibliográficas) o de su presencia web (páginas, enlaces y menciones web). Entre ellos el ranking de desempeño de artículos científicos para las universidades del mundo (NTU) de Taiwán y el Ranking de Leiden, que utilizan como fuente de información a la Web of Science de Thomson Reuters. De otro lado, SCImago, que utiliza como fuente a Scopus y, el Ranking Web de Universidades (Webometrics), que hace uso de Google Scholar (Aguillo, 2012).

También es posible distinguir entre clasificaciones académicas y clasificaciones parcialmente académicas. Las primeras son listas que clasifican a las universidades e instituciones de educación superior e investigación de acuerdo con una metodología basada en fuentes de datos bibliométricos cuyos criterios son medibles y reproducibles. Las segundas son aquellas clasificaciones basadas en apreciaciones subjetivas propias de las encuestas de opinión y no necesariamente de métodos bibliométricos. En este trabajo adoptaremos la clasificación propuesta por Federkeil y otros autores (2012) para presentar algunos de los principales rankings académicos de universidades.

Tabla 1. Clasificación de los principales rankings

 4. Principales rankings académicos de universidades

Se caracterizan a continuación algunos de los rankings más destacados y se toman en cuenta sus finalidades, foco, cobertura, organización que los realiza, la metodología que adoptan y las fuentes de información que utilizan.

4.1. Rankings globales

4.1.1. Ranking de Shanghái  3

El Academic Ranking of World Universities (ARWU), también conocido como Ranking de Shanghái, fue creado en 2003 por el Center for World-Class Universities (CWCU) de la Escuela Superior de Educación de la Universidad Jiao Tong de Shanghái. Su propósito original fue conocer el posicionamiento de las universidades de educación superior de China, en comparación con las principales universidades de clase mundial. En la actualidad es un referente para universidades de todo el mundo. Todos los años este ranking clasifica información de más de 1200 universidades del mundo y publica en su sitio web las mejores 500.4

El sesgo hacia la investigación de este ranking es casi absoluto y resulta evidente que el modelo de calidad implícito está decididamente orientado a la investigación de punta, ya que las universidades son seleccionadas de acuerdo a la cantidad de Premios Nobel o Medallas Fields alcanzados por sus profesores o alumnos, la cantidad de investigadores altamente citados, los artículos publicados en Nature o Science durante los últimos diez años y los artículos indexados por Science Citation Index - Expanded (SCIE) y Social Science Citation Index (SSCI). 5 A cada indicador se le asigna un valor máximo de 100, que se corresponde con el obtenido por la mejor universidad en las diferentes categorías. Para las otras universidades, el indicador se calcula como un porcentaje proporcional de ese valor máximo. En el caso de las instituciones especializadas en humanidades y ciencias sociales no se considera el criterio de publicaciones en Nature y Science y el valor se redistribuye entre los demás indicadores de forma proporcional. En el Anexo 1 se presenta la tabla con los indicadores y su peso relativo expresado en porcentajes.

Anexo 1. Ranking de Shanghái - Indicadores y peso relativo

4.1.2. Times Higher Education World University Rankings (THE-TR) El Times Higher Education World University Rankings (THE-TR) fue creado en 2010 en el Reino Unido y se presenta como un ranking que mide a nivel mundial el desempeño de las universidades intensivas en investigación, alrededor de sus misiones centrales: enseñanza, investigación, transferencia de conocimiento y perspectiva internacional. Utiliza para ello 13 indicadores de desempeño, con el propósito declarado de lograr una comparación balanceada, que pueda resultar de utilidad para estudiantes, académicos, responsables universitarios, industrias y gobiernos. Este ranking excluye de la clasificación a universidades que no imparten enseñanza de grado o que en un cierto período hayan tenido una producción inferior a 150 artículos por año. Asimismo, se excluye a aquellas universidades que destinan 80% de sus actividades exclusivamente a un área temática.6

El Times Higher Education World University Rankings ofrece además una selección de rankings, entre los que se encuentran: U.S. College Rankings, World Reputation Ranking, Latin America Rankings, Young University Rankings, Japan University Rankings, Asia University Ranking, y Brics and Emerging Economies.7

Como se puede ver en el Anexo 2, la reputación tiene un peso equivalente a un tercio de la ponderación. Otro aspecto importante son las citas (30%), por lo que sumando este rubro con el de investigación se alcanza el 60% del valor de la matriz. En cambio, los indicadores de enseñanza son indirectos, por lo que queda claro que el ranking pondera más la formación de investigadores que la de profesionales. Nuevamente, el modelo de calidad implícito es de las universidades de investigación avanzada.

Anexo 2. Times Higher Education - Indicadores

4.1.3. QS Ranking. World University Rankings

El ranking QS, creado en 2004 en el Reino Unido y publicado de manera individual desde 2010, es el más grande de su tipo, ya que recaba información de 2000 universidades en 130 países. Se basa en seis indicadores de desempeño que evalúan a las universidades en cuatro áreas: investigación, enseñanza, empleabilidad e internacionalización.8 Cada uno de los seis indicadores lleva una ponderación diferente en el cálculo de las puntuaciones globales. Si bien cuatro de los seis indicadores se basan en datos “duros”, la mayor parte del puntaje (60%) se asigna en base a la “reputación” académica y la de los empleadores de los egresados; en ambos casos, sobre la base de encuestas globales. Para los indicadores basados en datos duros, el ranking QS utiliza alguna información proporcionada por las propias universidades y datos bibliométricos de la base de datos Scopus. En el Anexo 3 se presenta la tabla de indicadores utilizados.

Anexo 3. QS Ranking - Indicadores

También en este ranking se registra una preeminencia de la reputación en la matriz de evaluación de las universidades, lo que pone en evidencia que el ranking se apoya en la idea de que el prestigio es indicador de calidad. Por lo demás, la reputación es cuestionable desde las bases mismas de la metodología empleada: ¿cómo se seleccionan los informantes cuya opinión se demanda? El método deja abiertas las puertas a la endogamia, en la medida que no se controle la posibilidad de que sean las propias universidades las que sugieran los nombres de los informantes.

QS publica también el QS-Estrellas, que adjudica a las “universidades de clase mundial” un número de estrellas variable, de 0 a 5, de acuerdo con la clasificación obtenida a partir de una evaluación que considera 50 diferentes indicadores agrupados en varias categorías. Estos indicadores remiten a investigación, enseñanza, internacionalización, empleabilidad, facilidades (infraestructura de la universidad), aprendizaje a distancia, responsabilidad social, innovación, arte, cultura e inclusión, así como también al criterio de los especialistas.

QS publica desde 2011 una selección de las 400 principales universidades en América Latina. La metodología que se usa para esta clasificación se corresponde con la clasificación general de universidades, pero adicionalmente incluye ciertos criterios con el propósito de que permitan la comparación de instituciones de acuerdo con las prioridades de la región (Anexo 4). Desde la edición 2016/2017 se ha incluido también el criterio de internacionalización, que mide el grado de apertura y colaboración en actividades de investigación de las universidades.9

Anexo 4. Ranking QS - Indicadores para universidades de América Latina

4.1.4. Center for World University Rankings (CWUR)

El Center for World University Rankings (CWUR) mide desde 2012 la calidad de la educación y la formación de estudiantes, al igual que el prestigio de los miembros de las facultades y la calidad de sus investigaciones, sin depender de encuestas y datos suministrados por las universidades.10 El CWUR usa ocho objetivos e indicadores para clasificar las principales 1000 universidades a nivel mundial.11 Una vez más, el modelo dominante es el de la investigación, pero en este caso llama la atención un sesgo importante en el indicador de empleo: hacia “las mejores empresas del mundo”. No se toman en cuenta otras posibilidades destacadas, como la función pública, la actividad solidaria en las ONG o el emprendedorismo exitoso, si no llega a alcanzar una dimensión internacional. En el Anexo 5 se presenta la tabla de indicadores utilizada.

Anexo 5. Ranking CWUR - Indicadores

4.1.5. University Ranking by Academic Performance (URAP)12

El University Ranking by Academic Performance (URAP) es producido por el Instituto Informático de la Universidad Técnica de Medio Oriente (METU), de Ankara, Turquía. URAP se constituye como un equipo interdisciplinario que investiga la medición del desempeño académico para clasificar a las universidades de todo el mundo. El ranking de URAP de las principales 2000 universidades del mundo ha sido publicado anualmente desde el Primer Simposio Internacional URAP celebrado en Ankara en 2010.

El sistema de clasificación de URAP se enfoca en la calidad académica. URAP reúne información de cerca de 2500 instituciones de educación superior (IES) en un esfuerzo por clasificar dichas organizaciones por su desempeño académico. El puntaje total de cada IES está basado de acuerdo con su desempeño sobre ciertos indicadores. El estudio de URAP incluye IES en general, exceptuando instituciones académicas gubernamentales, por ejemplo: la Academia China de las Ciencias y la Academia Rusa de las Ciencias, entre otras.13

En 2011, URAP publicó las principales 1000 universidades clasificándolas en seis áreas científicas diferentes, tales como ingeniería, agricultura y ciencias ambientales, medicina, ciencias de la vida, ciencias naturales y ciencias sociales. En 2013, los campos fueron ampliados sobre la base de la clasificación australiana y neozelandesa para la investigación. El ranking está basado en seis indicadores de desempeño académico. Las publicaciones científicas constituyen la base metodológica de este ranking. Tanto la calidad como la cantidad de las publicaciones y del desempeño de la colaboración internacional en investigación, son usadas como indicadores. En el Anexo 6 se presenta la tabla con las definiciones de los indicadores utilizados.

Anexo 6. URAP - Definición de los indicadores

4.2. Clasificaciones académicas

4.2.1. Global Ranking of Academic Subjects (GRAS)14

Creado en 2017, el Ranking Global de Materias Académicas clasifica a las universidades del mundo de acuerdo con 52 materias, entre ciencias naturales, ingeniería, ciencias de la vida, ciencias médicas y ciencias sociales. Entre 2009 y 2016 este ranking fue conocido como Ranking Académico de las Universidades del Mundo por materias (ARWU-SUBJECT). Seleccionaba las materias entre los campos de matemáticas, física, química, ciencias de la computación y economía/negocios. Para ser incluidas en una clasificación, las universidades deben tener un número mínimo de publicaciones de investigación durante el período 2011-2015. El umbral de publicación es diferente para cada materia, por lo tanto, en el campo de ciencias naturales otorga un puntaje de 200 a física y química, mientras que a matemáticas le proporciona un 100. Esto puede deberse a los ritmos de publicación de cada materia, que influye en que se le otorgue cierto a valor a una u otra materia para poder compararlas en el ranking. Los datos bibliométricos se recopilan de la base de datos InCites. La definición de los indicadores que se utilizan en el ranking por materias se presenta en el Anexo 7. En este ranking se asignan diferentes ponderaciones a los indicadores para cada materia. Por tanto, de acuerdo con el indicador, las instituciones se calculan como un porcentaje de la institución mejor calificada y luego se multiplican por el peso asignado. El puntaje final se genera al sumar puntajes de todos los indicadores y el puntaje final se clasifica en orden descendente.15

Anexo 7. GRAS - Definiciones de los indicadores

4.2.2. Ranking Académico de las Universidades del Mundo por Grandes Áreas de Conocimiento (ARWU-FIELD)16

En 2007, el Centro de las Universidades de Clase Mundial dio paso a la creación de un ranking dedicado a las universidades del mundo por grandes áreas del 14. Más información disponible en: http://www.shanghairanking.com/es/SubjectMathematics2015.html#.

15. Para 2017, las primeras cinco universidades clasificadas en el campo de ciencias naturales por materia fueron: en matemáticas, tres norteamericanas (Princeton, Nueva York y MIT) y dos francesas (Pierre y Marie Curie - París VI y Paris-Sud - Paris XI). En física también cuatro norteamericanas (MIT, California-Berkeley, Chicago y Harvard) y una japonesa (Tokio). En química los cinco primeros puestos de nuevo fueron para universidades de los Estados Unidos (California-Berkeley, Stanford, MIT, Instituto de Tecnología de California y Harvard). Esta tendencia suele repetirse para diferentes campos y materias del ranking y con pocas excepciones las universidades estadounidenses no aparecen como las cinco primeras de la clasificación.

16. Más información disponible en: http://www.shanghairanking.com/es/FieldSCI2015.html.

conocimiento (ARWU-FIELD). Con este ranking se da cuenta de las mejores 200 universidades del mundo de acuerdo con cinco áreas del conocimiento: ciencias naturales y matemáticas, ingeniería/tecnología y ciencias de la computación, ciencias de la vida y de agricultura, medicina clínica y farmacia, y ciencias sociales. En este ranking, las universidades son elegidas según criterios como el número de profesores o alumnos que hayan recibido el Premio Nobel, las Medallas Fields o los Premios Turing, los investigadores altamente citados y con artículos publicados en Nature o Science en los últimos años y la producción de una cantidad significativa de artículos indexados por Science Citation Index.17 Las áreas consideradas para la clasificación de las universidades se presentan en la tabla del Anexo 8.

Anexo 8. ARWU-FIELD - Áreas para la clasificación de las universidades

Los criterios que aplica son la calidad de la docencia, la calidad del profesorado, la cantidad y calidad de la producción investigadora. Por motivos de normalización de datos e indicadores, este ranking no clasifica áreas y disciplinas relacionadas a las artes y humanidades, psicología, ciencias del comportamiento, neurociencias, entre otras no citadas en el anexo anteriormente mencionado. Para el área de ingeniería, se ha creado un indicador particular referido al gasto en investigación anual en ingeniería e informática (FUND) con un valor del 25% de la ponderación total. Actualmente, este dato sólo se aplica a universidades en Estados Unidos y algunas en Canadá. Para las instituciones de otros países, de las que no se obtiene información sobre algún indicador, no se lo toma en cuenta y se reasigna su valor en otros indicadores.18

4.2.3. U-Multirank19

U-Multirank es una herramienta desarrollada por la Unión Europea para seleccionar universidades con el Programa Erasmus. Fue presentado como un nuevo enfoque multidimensional de rankings internacionales para instituciones de educación superior. Está operativo desde 2014. Ese año cubrió más de 850 instituciones de educación superior, 1000 facultades y 5000 programas de estudio de 74 países en todo el mundo. Cuenta con un buscador que permite analizar universidades individualmente o comparar algunas de ellas. Presenta una selección de cuatro rankings para observar el desempeño de las universidades en diversas áreas. Entre ellos se encuentran el ranking de investigación y enlaces de investigación, el ranking de participación económica, el ranking de enseñanza y aprendizaje, el ranking de orientación internacional. Véanse los Anexos 9a, 9b, 9c y 9d. Las dimensiones incluidas son enseñanza y aprendizaje, investigación, transferencia de conocimiento, orientación internacional y compromiso regional. U-Multirank utiliza datos empíricos para comparar instituciones con perfiles institucionales similares y su propósito es permitir a los usuarios el desarrollo de rankings personalizados por medidas de desempeño e indicadores, en términos de sus propias preferencias.

Anexo 9a. U-Multirank - Indicadores Generales

Anexo 9b. U-Multirank - Indicadores de reputación

Anexo 9c. U-Multirank - Indicadores de investigación y transferencia

 

Anexo 9d. U-Multirank - Indicadores del ranking de participación económica

 

4.3. Rankings nacionales

4.3.1. U.S. Best Global Universities Rankings 20

El U.S. Best Global Universities Rankings, creado en 2008, forma parte de una plataforma informativa orientada fundamentalmente a facilitar la toma de decisiones por parte de los estudiantes, permitiéndoles comparar colegios y universidades norteamericanas y de todo el mundo. Incluye varios rankings con temáticas específicas, tales como el ranking de mejores escuelas, el de las mejores escuelas de graduados, el de mejores universidades, el de mejores programas en línea o virtuales, el ranking de mejores universidades mundiales y el ranking de mejores universidades de la región árabe.

En este ranking se han clasificado instituciones de Estados Unidos y de aproximadamente 74 países, sobre la base de 13 indicadores que miden la actuación de la investigación académica y su reputación a nivel mundial, tanto entre los programas de grado como de posgrado. Se presentan las 1250 mejores universidades del mundo. El ranking toma como referencia los datos de Clarivate Analytics InCites, que da cuenta de 1295 universidades, de las cuales elige, para publicar, las 1250 mejores en todo el mundo, clasificadas bajo criterios de reputación y publicación de artículos en los últimos cinco años. Además de los indicadores bibliométricos (Web of Science para el período de cinco años) toma en cuenta una encuesta de opinión a investigadores y académicos en sus campos de conocimiento. La matriz de evaluación asigna 25 puntos a los indicadores de reputación y 75 a los bibliométricos.21 Véanse los Anexos 10a y10b.

Anexo 10a. U.S. Best Global UR - Indicadores bibliométricos

Anexo 10b. U.S. Best Global UR - Indicadores de excelencia científica

 

4.3.2. CHE University Ranking

El Ranking CHE, creado en 1998, detalla la situación de las instituciones de educación superior alemanas. 22 Se especifican en el ranking 35 temas, entre los cuales se encuentran programas de estudio, enseñanza, equipamiento e investigación. Además, se incluye la evaluación de 200.000 estudiantes de educación superior, así como una evaluación de la reputación de los departamentos por 15.000 profesores de asignaturas individuales. El ranking recolecta datos a través de cuestionarios dirigidos a miembros de departamentos y facultades, profesores y estudiantes, así como a un análisis de la actividad de publicación de los académicos de un respectivo departamento. Los datos del nivel institucional son recolectados de las instituciones de educación superior involucradas, así como de los ex alumnos o graduados. Toma en cuenta indicadores como el mercado laboral, orientación de las carreras, equipamiento, investigación, orientación internacional, resultados de los estudios, universidad y ciudad, estudiantes, estudios académicos y enseñanza. El Ranking CHE no tiene un listado único de posiciones para las universidades, como se encuentra comúnmente en otras clasificaciones, sino que ubica a las universidades en uno de tres grupos: grupo superior, grupo medio o grupo inferior. Las universidades de cada grupo son clasificadas por orden alfabético.

Para generar resultados gráficos con respecto al desempeño de las universidades en Alemania, el ranking permite seleccionar áreas de conocimiento y criterios (indicadores) de acuerdo con la preferencia de los usuarios. Las mejores universidades aparecen en el centro del gráfico. En este caso, se ha elegido el área de ingeniería industrial y se han tomado como indicadores la situación general de los estudiantes, orientación a la investigación, infraestructura informática, graduaciones en tiempo apropiado y orientación internacional. Como se observa en los Anexos 11a y11b, la presentación gráfica de los resultados ha cambiado desde la edición 2015.

AAnexo 11a. CHE - Área de ingeniería industrial 2015

Anexo 11b. CHE - Área de ingeniería industrial 2017/2018

4.3.3. Ranking de las universidades españolas

También denominado ISSUE (Indicadores Sintéticos de las Universidades Españolas), este ranking fue creado en 2013 conjuntamente por la Fundación BBVA y el Instituto Valenciano de Investigaciones Económicas (IVIE).23 Comprende dos rankings generales, uno de volumen de resultados y otro de rendimiento, así como de docencia, investigación, innovación, desarrollo tecnológico y de titulaciones concreta. En el Anexo 12 se presentan los indicadores utilizados y su peso relativo.

 Anexo 12. ISSUE - Indicadores y peso relativo

4.4. Rankings especializados

4.4.1. Ranking de Leiden

El Centro de Estudios de Ciencia y Tecnología de la Universidad de Leiden (CWTS), en Holanda, publica desde 2008 el Ranking de Leiden, que clasifica 750 universidades en todo el mundo de acuerdo con la producción de publicaciones en revistas científicas internacionales en determinados periodos.24 La clasificación está basada en información de la base de datos de la Web of Science. Sólo artículos de investigación y artículos de revisión son tenidos en cuenta. En el Anexo 13 se presenta la tabla con los indicadores utilizados.

Anexo 13. Ranking de Leiden - Indicadores

Las publicaciones en colaboración son contadas fraccionadamente. Se denominan core publications aquellas de la Web of Science que se publican en campos adecuados para el análisis de las citas. Los criterios de las core publications son: publicaciones escritas en inglés, publicaciones con uno o más autores, publicaciones que no son retractadas y artículos que aparecen en revistas de alto impacto. En el cálculo de los indicadores del Ranking de Leiden, sólo estas publicaciones son tenidas en cuenta. Carlos Pérez Rasetti propone una reflexión acerca de los objetivos, el modelo y la relevancia de este ranking que focaliza sobre publicaciones científicas y citas, dejando de lado otros aspectos importantes de la producción académica.25 Con todo, el sesgo no debe ser inferido, por explícito: el ranking no pretende predicar acerca de aquello que no pondera.26

4.4.2. SCImago Institutions Rankings (SIR)27

El grupo denominado SCImago, conformado por investigadores españoles en bibliometría, ha desarrollado una plataforma a partir de la base de datos Scopus, de Elsevier en la que se presentan rankings de publicaciones recortados por instituciones o países. SCImago Institutions Rankings es uno de ellos. Se trata de una herramienta elaborada con el propósito de que sirva como instrumento para la evaluación de las universidades a nivel mundial y también a las instituciones dedicadas a la investigación. Con este ranking se categorizan instituciones de acuerdo con un conjunto de rangos como investigación, innovación y visibilidad web. Los rangos de las instituciones para cada uno de los indicadores ha sido normalizado en una escala de 0 a 100. La evaluación de cada indicador determina la posición de cada institución con respecto a otras para facilitar estudios comparativos. Las instituciones se han seleccionado con el único criterio de ser instituciones de investigación con más de cien publicaciones incluidas en la base de datos de Scopus durante el último año del periodo de tiempo, que generalmente consta de cinco años. Las instituciones han sido segmentadas por los países a los que pertenecen, incluyendo instituciones multinacionales (MUL) que no pueden ser atribuidas a cualquier país.28 En el Anexo 14 se presentan los indicadores utilizados en este ranking.

Anexo 14. SCImago - Indicadores

4.4.3. SCImago Journal & Country Rank (SJR)29

SCImago Journal & Country Rank es otro producto elaborado por el grupo español a partir de la información contenida en la base de datos Elsevier B.V de Scopus. Creado en 2009, este ranking incluye las revistas y los indicadores científicos discriminados por países. Estos indicadores pueden ser usados para evaluar y analizar dominios científicos. El ranking toma su nombre del indicador SCImago Journal Rank (SJR), el cual muestra la visibilidad de las revistas contenidas en la base de Scopus desde 1996. Se clasifican más de 1500 universidades de 83 países.30 En el Anexo 15 se presentan los indicadores utilizados en este ranking.

Anexo 15. SCImago JC - Indicadores

 

4.4.4. Ranking Web de Universidades (Webometrics)

El Laboratorio de Cibermetría del Consejo Superior de Investigaciones Científicas (CSIC) de España creó en 2004 el Ranking Mundial de Universidades en la Web, queproporciona una clasificación de instituciones de educación superior de todo el mundo, de acuerdo con su presencia e impacto en la web. Este ranking calcula el número de archivos disponibles a través de las páginas web de las universidades, usando el dominio institucional como una unidad de análisis. 31 El ranking aplica una distribución con peso equivalente entre indicadores de actividad, referidos a publicaciones y contenidos en la web, e indicadores de impacto y visibilidad, medidos a través del número de enlaces externos recibidos (visibilidad web). En el Anexo 16 se presenta una descripción de los indicadores que utiliza.

Anexo 16. Webometrics - Indicadorres

 

 

4.4.5. Performance Ranking of Scientific Papers for World Universities (NTU)32

El ranking de desempeño de artículos científicos para las universidades del mundo, también conocido como el Ranking NTU, es realizado por la Universidad Nacional de Taiwán a partir de 2007. Este ranking provee una clasificación general, una clasificación para seis campos de conocimiento y una clasificación para catorce temas seleccionados. Los indicadores son diseñados para comparar la calidad ycantidad de artículos de este tipo en cada universidad (Anexo 17). Este ranking emplea métodos bibliométricos para analizar y clasificar el desempeño de los artículos científicos en las principales ochocientas universidades a nivel mundial. La selección de estas ochocientas universidades para ser incluidas en este sistema de clasificación se da sobre la base en la información obtenida de Essential Science Indicators (ESI), de la cual es posible sustraer el número de artículos de revista publicados y el número de citaciones.33

Anexo 17. Ranking NTU - Indicadores

4.4.6. International Colleges & Universities - UNIRANK34

El International Colleges & Universities en un motor de búsqueda de educación superior y de universidades internacionales acreditadas en todo el mundo. Creado en 2005, este motor incluye 11.307 universidades y escuelas clasificadas por su popularidad en la web en 200 países. El objetivo de este sitio es ofrecer un ranking de popularidad aproximada de universidades y escuelas del mundo basadas en la popularidad de sus sitios web.

El ranking se basa en un algoritmo que incluye cinco medidas web parciales e independientes extraídas de tres motores de búsqueda diferentes: Google Page Rank, Alexa Traffic Rank, Majestic Seo Referring Domains, Majestic Seo Citation Flow y Majestic Seo Trust Flow. El valor normalizado de la clasificación se presenta como un promedio ponderado de los valores presentados por los tres motores de búsqueda anteriormente comentados. Este ranking no revela la fórmula exacta para realizar la ponderación de los valores por razones de derechos de autor y para minimizar los intentos de manipulación de los webmasters universitarios con el fin de lograr una mejor clasificación.35

Dentro de los rankings que presenta este buscador se encuentran el Ranking Web de Universidades (top 200 a nivel mundial y top 100 para cada continente), el de universidades en las redes sociales (universidades en Facebook, Twitter y Linkedin, entre otras), el listado de universidades populares (en Estado Unidos, Reino Unido, Canadá, Australia e India) y el listado de otras instituciones de educación superior (organizaciones relacionadas con educación superior, universidades sin sitio web, universidades y escuelas religiosas, listado alfabético de universidades del mundo).

5. Una mirada crítica

La globalización de los rankings ha sido siempre controversial. Por un lado, estas “tablas de posiciones” disfrutan de un interés público que en parte tiene que ver con aspectos competitivos y lúdicos de las sociedades. Es atractiva la idea de disponer de una herramienta que permita realizar algo así como un campeonato mundial de universidades. También a los tomadores de decisiones políticas la información que ofrecen los rankings les resulta atractiva, por cuanto es fácil de comprender y permite tomar decisiones, tales como la de asignar recursos. Por otro lado, como señala Marginson (2006), la creciente popularidad de los rankings con frecuencia deja de lado el análisis de su validez y del modo en que se seleccionan los datos, así como de sus efectos en la organización de los sistemas de educación superior. De hecho, la mirada crítica suele quedar mayormente limitada a ámbitos académicos en los que se cuestiona la objetividad de las tablas de posiciones globales por los sesgos y los modelos implícitos que conllevan. En este sentido, la crítica se orienta hacia su dimensión normativa, pero no excluye las objeciones a su metodología y los reparos acerca de las fuentes de información que se utilizan en su elaboración. Si bien hay quienes sostienen que evaluar las universidades y aplicar principios de competitividad entre ellas no es necesariamente malo, consideran criticable que promuevan implícitamente un cierto tipo de universidades que en el discurso político se ha impuesto como modelo a seguir (Krüger y Molas, 2010). En esta doble faceta - repercusión mediática y escasez de análisis crítico- reside uno de los puntos de interés principal para investigar sobre los rankings universitarios en la actualidad y reflexionar acerca de sus fundamentos conceptuales, opciones metodológicas, calidad y disponibilidad de fuentes, así como también la naturaleza de los organismos que construyen los rankings y los complejos procesos de difusión y apropiación de sus resultados (Usher y Savino, 2007).

No son las únicas críticas que reciben los rankings. Se ha señalado que tienden a desconocer y uniformar la diversidad, por lo que tampoco son adecuados para reconocer los diferentes tipos de universidades, teniendo en cuenta que no todas ellas tienen los mismos objetivos ni la misma historia institucional. Es una ficción con poco sustento en la realidad suponer que todas ellas jueguen el mismo juego, o que compitan directamente entre sí para obtener puntajes (Barsky, 2014). Esta crítica coincide con la idea de que los rankings por sí mismos hacen inevitable la competencia entre ellas, cuando se identifica una mejor posición con una mejor calidad (Tomàs et al., 2015).

Más allá de la crítica al modelo normativo y competitivo, una cuestión más de fondo atañe al concepto mismo de calidad. La definición de “calidad”, los criterios que la expresan y los indicadores que la harían mensurable constituyen un problema teórico cuya solución no es simple. Es evidente que no hay consenso acerca del contenido de los conceptos de “calidad” o “excelencia” aplicados a la educación superior. ¿Cómo se traduce la calidad en una variable susceptible de ser medida en una escala? Los artículos publicados en aquellas bases de datos que recogen la “corriente principal de la ciencia” constituyen un indicador de la calidad de la investigación, pero no de la universidad en su conjunto. Ni siquiera dan cuenta de la relevancia social de la investigación, como lo han discutido Michael Gibbons, Helga Nowotny, Peter Scott y otros autores. Por otra parte, la calidad no es un atributo homogéneo para cada universidad, sino que varía en gran medida entre las distintas facultades o departamentos. De hecho, existen rankings de facultades o departamentos disciplinarios que con frecuencia arrojan resultados diferentes a los de la universidad en su conjunto (Pérez-Esparrells y Gómez-Sancho, 2010).

La diversidad de perfiles institucionales y la multiplicidad de sus funciones hacen difícil definir la calidad académica de las universidades. En teoría, un buen ranking debería tomar en cuenta, como lo recomiendan las pautas del IREG, la pluralidad de misiones que a éstas les son encomendadas. Esto se refiere tanto a la actividad docente como a la actividad investigadora y la extensión, o a la denominada “tercera misión” que engloba las relaciones de las universidades con su entorno. Sin embargo, en la práctica, los rankings simplifican la consideración de las diversas dimensiones  y el ordenamiento se sesga en función de la actividad investigadora. Esta opción tiene un fuerte matiz ideológico, por cuanto toma como modelo ideal el de las universidades “de investigación” al estilo de Harvard, pero hay también razones de orden práctico, ya que se dispone de mucho conocimiento acumulado en la medición de las actividades de I+D, como lo demuestra la existencia del Manual de Frascati.

Van Raan (2005) discute los problemas conceptuales y metodológicos de construir rankings de universidades por métodos bibliométricos. A pesar de ello, su simplicidad es útil para quienes elaboran los rankings. Además, la investigación es la única actividad que dispone de datos comparables a escala global, como son los que se obtienen a partir de las bases de datos ISI Web of Knowledge o Scopus. Como se verá, algunos rankings se limitan a ordenar las universidades por la única variable de sus publicaciones científicas en revistas de primera línea. En cambio, los indicadores de docencia, o no existen, o son rudimentarios, y los de vinculación con el entorno o de “tercera misión” por su dificultad son todavía objeto de análisis en varios proyectos internacionales, entre los que destaca el Manual de Valencia impulsado por la Red Iberoamericana de Indicadores de Ciencia y Tecnología (RICYT) y la Organización de Estados Iberoamericanos (OEI), sin que haya sido posible determinar, hasta el presente, una fórmula que permita incorporar en una comparación internacional aquellos aspectos esencialmente relacionados con los contextos locales. Existen otros debates abiertos acerca de aspectos como la inclusión de hospitales y centrosmédicos en el modelo de calidad concretos o la razonabilidad de compararuniversidades de diferente tamaño, entre otros tópicos.36

6. Un modelo normativo

Apenas 14 universidades se alternaron en el período 2016-2017 en las primeras cincoposiciones de los diez rankings globales que son analizados en este informe. Ocho de ellas son norteamericanas, dos inglesas, una canadiense, una francesa y dos chinas. Esto pone en evidencia el hecho implícito de que se trata de un modelo normativo, una suerte de benchmarking que sugiere que, para ser mejores, las universidades deben aspirar a asemejarse a este grupo selecto. La Universidad de Harvard tiene gran ventaja sobre las demás, ya que aparece primera en ocho de los diez rankings y segunda en otro (QS). Llamativamente, no ocupa ninguno de los cinco primeros puestos en el Times (THE). Otras dos universidades ocupan la primera posición en otros tantos rankings. La Universidad de Oxford es primera en el THE y dos veces quinta (CRWU y U.S. News). El MIT es primero en el ranking QS, segundo en el U.S. News, tercero en el WEBO, CWUR y SCImago, cuarto en ARWU y quinto en el THE. La Universidad de Stanford está también presente en las primeras cinco posiciones de nueve de los diez rankings. Es cinco veces segunda (Shanghái, WEBO, CWUR y SCImago), una vez tercera (U.S. News) dos veces cuarta (THE y NTU) y una vez quinta en URAP.

 

Tabla 2. Primeras posiciones en rankings (2016)

Las restantes universidades de este primer escalón tienen apariciones más esporádicas. Seis de ellas son de los Estados Unidos: Berkeley, Michigan, Washington y John Hopkins. A ellas se agregan tres: una canadiense (Toronto), una francesa (Universidad Pierre & Marie Curie - París VI) y dos chinas (Universidad Shanghai Jiao Tong, Zhejiang).

El predominio de las universidades de los Estados Unidos es evidente, así como también lo es que Harvard constituye el modelo de mayor excelencia. Por este motivo, llama la atención que en el THE no figure en los primeros puestos. La explicación parecería estar en el hecho de que este ranking, como se analizó en la subsección 4.1.2., concede una tercera parte del puntaje a las encuestas de reputación, lo que disminuye el peso relativo de indicadores “objetivos” como los bibliométricos o el número de Premios Nobel. El hecho de que el ranking sea de origen inglés puede haber influido en que la Universidad de Oxford y la de Cambridge ocupen los primeros lugares. Ahora bien, este extraordinario desempeño de Harvard y un pequeño grupo de universidades ya reputadas por la calidad de la investigación que realizan permite pensar que los rankings están diseñados sobre la base de su modelo, ya que, si no fuera así, sería evidente la inutilidad del esfuerzo de intentar demostrar lo obvio: las primeras universidades de investigación son aquellas que más investigan. Una verdadera tautología.

Un fenómeno similar, pero aún más concentrado, se observa con respecto a las universidades latinoamericanas cuando se las compara a nivel regional. En este caso, la Universidad de San Pablo ocupa el primer lugar en nueve de los diez rankings y es la segunda del restante. Ninguna otra universidad latinoamericana se aproxima siquiera a tal desempeño. La Universidad de Buenos Aires (UBA) es la primera en el ranking QS, pero su resultado general es muy inferior: dos veces ocupa el segundo puesto: Shanghái (ARWU) y URAP; dos veces el cuarto (CWUR y U.S. News) y dos veces el quinto (WEBO y NTU).

La Universidad de Campinas no ocupa el primer lugar en ningún caso, pero aparece entre las primeras posiciones de nueve de los diez rankings: tres veces en la segunda posición (THE, Leiden y SCImago), tres veces en la tercera (WEBO, U.S. News y NTU), una vez en la cuarta (QS) y dos en la quinta (ARWU y URAP). El resto de las universidades tienen un desempeño inferior. La UNAM es segunda en dos ocasiones (WEBO y NTU), tercera en otras dos (CWUR y SCImago) y quinta en U.S. News. Las dos principales universidades chilenas aparecen cuatro veces cada una entre el tercero y el quinto puesto. Otras tres universidades tienen esporádicas apariciones en el top five de los rankings analizados. Se trata de la Universidad Federal de Rio de Janeiro, la Universidad Estadual Paulista y la Universidad Federal de Rio Grande do Sul (UFRGS).

El panorama de las universidades latinoamericanas muestra más dispersión en los rankings globales, cuando se las compara con las del resto del mundo. La Universidad de San Pablo está undécima en el ranking de Leiden, baja a la posición 35 en el URAP, al 49 en WEBO, al 58 en el NTU, al 76 en SCImago, al 117 en U.S. News, al 138 en el CWUR, y está en el rango entre 201 y 250 en el THE. Campinas oscila en posiciones entre el nivel 300 y el 400. La UBA es más desconcertante porque oscila entre el puesto 124 y el 372. La Universidad de Chile está entre el puesto 501 y 600 para el THE, pero sube al puesto 209 para el QS y 274 para el WEBO. La UNAM varía entre el puesto 62 en WEBO, 313 en SCImago, 341 en CWUR y 359 en U.S. News. Las restantes latinoamericanas registran oscilaciones similares en posiciones cercanas a los puestos 200 a 300.

Sobre el particular, Rodolfo Barrere observa que la dispersión de las universidades latinoamericanas puede estar relacionada con dos fenómenos: por un lado, los indicadores que se eligen y, por el otro, la tendencia a la concentración.37 En el caso del primer fenómeno, se refiere que la elección de indicadores que dividen aguas en los primeros puestos (el modelo normativo), pero remiten a aspectos muy poco frecuentes en América Latina (como los Premios Nobel y, en menor medida, los papers en Nature y Science) ocasiona que pequeños cambios generen saltos considerables. Así, si una universidad publicara dos artículos en Nature o Science en un año, probablemente no sería cualitativamente tan diferente a lo que era el año anterior, pero subiría muchos puestos en el ranking. Con mucha más razón, si se diera el poco frecuente caso de que un docente o un ex alumno gane un Nobel. En cuanto al segundo fenómeno señalado, la variabilidad puede ser atribuida al hecho de que en el caso de los indicadores de educación superior se produce una distribución de Pareto similar a la que se observa en los indicadores de I+D. Como las universidades latinoamericanas no pertenecen al 20% superior, sino al 80% restante, aparecen al final de la distribución y la diferencia entre ellas es mínima. Por ese motivo una pequeña variación en el número de papers, por ejemplo, puede modificar muchos puestos de diferencia en la distribución.

Conclusiones

En este trabajo se han revisado los rankings internacionales de universidades más conocidos, algunos de ellos multidimensionales y otros unidimensionales; estos últimos, generalmente centrados sobre la investigación. Es un fenómeno evidente que la mayoría de los rankings otorgan un fuerte peso relativo a la actividad investigadora o están dedicados exclusivamente a ella, ya sea por ajustarse a un modelo que identifica la calidad de las universidades con su fortaleza en investigación, o por simplificación metodológica, debido a la mayor facilidad para obtener datos objetivos de esta función, en relación con las restantes, tales como la docencia, extensión o vinculación tecnológica. Es objetable, sin embargo, que la calidad de una universidad sea evaluada con una metodología unidimensional.

El resultado práctico es que, al examinar los listados jerarquizados de los rankings internacionales, se advierte un dominio casi absoluto de las universidades de los Estados Unidos. Sólo esporádicamente universidades inglesas logran ubicarse en las primeras posiciones. Más raramente, aparecen en los primeros puestos algunas universidades de Canadá, Francia y China.

Las universidades que aparecen en los primeros puestos de estas clasificaciones tienen una alta reputación; es decir, son ampliamente conocidas públicamente como universidades de primera categoría. Se trata, en todos los casos, de universidades intensivas en investigación y que disponen de grandes presupuestos destinados a tal fin. Por el contrario, cuando se analizan las mejor clasificadas a nivel de América Latina, se comprueba que la dispersión es mucho mayor y que sólo unas pocas logran entrar en las clasificaciones globales, lo que va asociado al hecho de que los recursos de que disponen para investigar son mucho más escasos y los datos contextuales son diferentes.

Un aspecto no menor a tener en cuenta es que, como señalan varios autores, la finalidad implícita de los rankings puede estar vinculada con la construcción de un mercado académico global. En este sentido, la competencia entre las universidades por el reclutamiento de estudiantes de todo el mundo puede estar basada en el equívoco -que precede a los rankings, pero que éstos refuerzan- de que la visibilidad de la investigación garantiza la calidad de la educación. Este equívoco se traslada al mercado de trabajo, otorgando diferenciales de prestigio-desprestigio a los graduados, sin que ello predique en forma correcta acerca de la calidad de la formación alcanzada.

Casi todos los rankings analizados, se observa el supuesto tácito de que, si una institución es altamente competitiva en investigación, la calidad de la educación que ofrece debe ser también muy alta. Este supuesto es incorrecto, particularmente en lo que se refiera a las universidades latinoamericanas, que deben dar respuesta a una fuerte demanda social en un contexto muy diferente al de las universidades propuestas como modelos a seguir. Otras funciones, como la docencia, la extensión y la vinculación con el entorno, que son esenciales para evaluar el desempeño de las universidades latinoamericanas, no son tenidas en cuenta suficientemente en los rankings internacionales de universidades. Éstos no miden, o lo hacen en forma sesgada, aspectos tan importantes como el tipo y la calidad de la docencia, la formación permanente, la inserción laboral, la contribución al desarrollo territorial y otros que definen mejor la misión social de las universidades en países con una gran necesidad de formación de profesionales y de difusión de una cultura científica. Por eso tiene sentido el propósito de construir indicadores de educación superior que hagan visibles otras variables.

La calidad de las universidades no puede ser determinada por una sola de sus funciones y, en el límite, tampoco por el conjunto de ellas. Anticipándose varias décadas a esta discusión, Risieri Frondizi (1986) afirmaba en 1941, con una mirada filosófica, que “puede una universidad cumplir con sus tres funciones esenciales y sin embargo no cumplir la misión social más elemental”. Y al desarrollar esta idea afirmaba que “si trasladáramos idealmente una de las grandes universidades europeas o norteamericanas, con todo su organismo completo a nuestra Patagonia, por ejemplo, esa universidad continuaría, idealmente, cumpliendo mejor que nuestras propias universidades con las tres funciones específicas. Sin embargo, su existencia no tendría sentido porque no respondería a una necesidad social”. Aplicar el modelo normativo que proponen los rankings internacionales y tratar de imitar a “las grandes universidades europeas o norteamericanas” es, probablemente un esfuerzo tan carente de sentido como trasladarlas a la Patagonia.

Notas

1. El Centro Europeo de Educación Superior (UNESCO-CEPES) constituyó en 2004 un Grupo de Expertos sobre Rankings Internacionales (IREG), que adoptó la denominación del Observatory on Academic Ranking and Excellence.

2. Más información disponible en: http://ireg-observatory.org/en/pdfy/IREG-Guidelines_Spanish.pdf .

3. Más información disponible en: http://www.shanghairanking.com.

4. En 2017, cuatro de las cinco primeras universidades fueron norteamericanas (Harvard, Stanford, MIT y California-Berkeley) y una fue inglesa (Cambridge). En cuanto a las latinoamericanas, en ese mismo año, la primera fue la Universidad de San Pablo, seguida por la Universidad de Buenos Aires (UBA), la Universidad Nacional Autónoma de México (UNAM), la Universidad Federal de Río de Janeiro y la Universidad Estadual Paulista. En sexto lugar aparecía la Universidad de Chile.

5. La Medalla Internacional para Descubrimientos Sobresalientes en Matemáticas, conocida como Medalla Fields, es una distinción que concede la Unión Matemática Internacional para suplir la carencia de un Premio Nobel de matemáticas. Su nombre le fue dado en memoria del matemático canadiense John Charles Fields.

6. Más información disponible en: https://www.timeshighereducation.com/world-university-rankings . La metodología básica para 2018 es similar a la empleada en 2015, pero se han hecho cambios en algunos indicadores.

7. En el ranking THE-TR de 2018, el primer y segundo lugar es ocupado por dos universidades del Reino Unido (Oxford y Cambridge), mientras que el tercer, cuarto y quinto puesto fue para tres universidades de los Estados Unidos (Instituto Tecnológico de California, Stanford y MIT). En relación al ranking de 2015, los únicos cambios significativos son la posición de las universidades del Reino Unido y que por primera vez no sea una universidad estadounidense la que lidere el listado. Para América Latina, el ranking de 2018 siguió presentando a Brasil como el país con las mejores universidades de la región, ocupando el primer, segundo y cuarto puesto (Universidad de San Pablo, Universidad Estatal de Campinas y la Universidad Federal de San Pablo). En el caso de Chile, que aparece en el tercer y quinto lugar, ya no son la Pontificia Universidad Católica de Chile y Universidad de Chile las listadas, sino la Universidad Diego Portales y la Universidad Federico Santa María.

8. Más información disponible en: http://www.topuniversities.com .

9. De acuerdo con estos criterios, en 2018 el ranking QS de universidades de América Latina clasificó a la Pontificia Universidad Católica de Chile como la mejor de la región, seguida de Campinas, San Pablo, la UNAM y el Tecnológico de Monterrey.

10. Más información disponible en: http://cwur.org .

11. Para 2017, la clasificación de las primeras cinco universidades incluyó tres de los Estados Unidos (Harvard, Stanford y MIT), así como las inglesas Cambridge y Oxford. Las cinco primeras universidades de América Latina fueron la de San Pablo, la Federal de Rio de Janeiro, la UNAM, la Universidad Católica de Chile y la UBA.

12. Más información disponible en: http://www.urapcenter.org/2017/.

13. Para el periodo 2017-2018 las cinco primeras universidades del mundo fueron: Harvard, Toronto, Oxford, Pierre & Marie Curie University - Paris VI y Stanford. Para América Latina el orden ponía en primer lugar a la Universidad de San Pablo, la UNAM, la Universidad Estadual Paulista, la Universidad de Campinas y la Universidad Federal de Río de Janeiro.

14. Más información disponible en: http://www.shanghairanking.com/es/SubjectMathematics2015.html#.

15. Para 2017, las primeras cinco universidades clasificadas en el campo de ciencias naturales por materia fueron: en matemáticas, tres norteamericanas (Princeton, Nueva York y MIT) y dos francesas (Pierre y Marie Curie - París VI y Paris-Sud - Paris XI). En física también cuatro norteamericanas (MIT, California-Berkeley, Chicago y Harvard) y una japonesa (Tokio). En química los cinco primeros puestos de nuevo fueron para universidades de los Estados Unidos (California-Berkeley, Stanford, MIT, Instituto de Tecnología de California y Harvard). Esta tendencia suele repetirse para diferentes campos y materias del ranking y con pocas excepciones las universidades estadounidenses no aparecen como las cinco primeras de la clasificación.

16. Más información disponible en: http://www.shanghairanking.com/es/FieldSCI2015.html.

17. El Premio Turing es un premio de las ciencias de la computación que otorga anualmente la Asociación para la Maquinaria Computacional (ACM) por las contribuciones al campo de las ciencias computacionales.

18. En 2016, las primeras cinco universidades en el área de matemáticas y ciencias naturales (SCI) fueron todas de los Estados Unidos (California-Berkeley, Stanford, Princeton, Harvard y el MIT). En el área de ingeniería/tecnología y ciencias de la computación (ENG), hubo una modificación en las posiciones en relación con el 2015 y ya no fueron las primeras cinco universidades de los Estados Unidos, sino sólo fueron clasificadas dos (MIT y Stanford). Por el contrario, aparecieron universidades de Singapur (Universidad Tecnológica de Nanyang), de China (Universidad de Qinghua) y de Arabia Saudita (Universidad Rey Abdulaziz). Entre las primeras cinco universidades del área de ciencias de la vida y agricultura (LIFE) en 2016, se registró la única excepción, que fue la inclusión de la Universidad de Cambridge en el segundo lugar, entre cuatro de los Estados Unidos (Harvard, MIT, Stanford y California- San Francisco). Ese mismo año, las primeras cinco universidades en el área de medicina clínica y farmacia (MED) fueron también cuatro norteamericanas (Harvard, Washington, Stanford Johns Hopkins) y una inglesa (Cambridge). Un resultado similar para el mismo año se produjo en la identificación de las primeras cinco universidades en el área de ciencias sociales (SOC), ya que todas ellas fueron de los Estados Unidos (Harvard, Chicago, California- Berkeley, Princeton y MIT).

19. Más información disponible en: http://www.u-multirank.eu.

20. Más información disponible en: https://www.usnews.com/education/best-global-universities/rankings?int=a27a09.

21. De las cinco primeras universidades del ranking mundial de 2018, cuatro fueron de los Estados Unidos (Harvard, MIT, Stanford y California Berkeley) y una inglesa: Oxford. En cuanto a las latinoamericanas, la primera fue la Universidad de San Pablo, seguida por la Universidad Católica de Chile, la Universidad Federal de Río de Janeiro, la UBA y la Universidad de Campinas.

22. Más información disponible en: http://www.che-ranking.de/cms/?getObject=2&getLang=de.

23. Más información disponible en: http://www.u-ranking.es.

24. Más información disponible en: http://www.leidenranking.com.

25. Docente investigador de la Universidad Nacional de la Patagonia Austral. Coordina la Red Iberoamericana de Indicadores de Educación Superior (Red ÍndicES). Comentario realizado personalmente a los autores.

26. De las primeras cinco universidades del Ranking de Leiden para 2017, dos fueron de los Estados Unidos (Harvard y Michigan), una canadiense (Toronto) y dos chinas (Zhejiang y Shanghai Jiao Tong). Como novedad, la Universidad de San Pablo fue listada entre las primeras 10 mejores universidades del mundo. En cuanto a América Latina, las cinco primeras universidades fueron brasileñas: San Pablo, la Universidad Estadual Paulista, la Universidad de Campinas, la Universidad Federal de Rio Grande do Sul y la Universidad Federal de Rio de Janeiro.

27. Más información disponible en: http://www.scimagoir.com/.

28. En la edición de 2017 las cinco primeras universidades fueron de Estados Unidos: Harvard, Stanford, MIT, Johns Hopkins y Michigan - Ann Arbor. En el caso de América Latina, la institución que encabeza el ranking de ese mismo año es la Universidad de San Pablo, seguida por la UNAM, la Universidad de Campinas, la Universidad Estadual Paulista y la Universidad Federal de Rio de Janeiro.

29. Más información disponible en: http://www.scimagojr.com.

31. En 2017 Webometrics ubicó en el primer lugar a la universidad de Harvard, seguida por Stanford, el MIT, California-Berkeley y Michigan. En el caso de Latinoamérica, la primera posición fue para la Universidad de San Pablo, seguida por la UNAM, la Federal de Río de Janeiro, UNICAMP y la Federal de Rio Grande do Sur. En esta edición, a diferencia de 2016, la Universidad de Chile y la UBA descendieron posiciones en la tabla y ya no aparecen dentro de las primeras cinco de la región.

32. Más información disponible en: http://nturanking.lis.ntu.edu.tw.

33. El ranking general de universidades para 2017 mostró en primer lugar a la Universidad de Harvard, seguida por la Johns Hopkins, Stanford, Toronto y Oxford. Para Latinoamérica, la clasificación de universidades asignaba el primer lugar a la Universidad de San Pablo, seguida por Campinas, Federal de Rio de Janeiro, la Estatal Paulista y la UBA.

34. Más información disponible en: http://www.4icu.org.

35. Para 2017, este ranking comprende las 200 principales universidades del mundo y asignó el primer lugar al MIT, seguido por las universidades de Stanford, Harvard, California-Berkeley y Washington. En Latinoamérica el top 100 de universidades está encabezado por la Universidad Nacional Autónoma de México, seguida por la Universidad de San Pablo, la Universidad Federal de Río de Janeiro, la Universidad de Campinas y la Universidad Federal de Río Grande do Sur.

36. “Comparing university rankings” - Isidro F. Aguillo, Judit Bar-Ilan, Mark Levene y José Luis Ortega. Recibido el 19 de noviembre de 2009 y publicado online el 23 de febrero de 2010. Akadémiai Kiadó, Budapest, Hungría.

37. Investigador del Observatorio Iberoamericano de la Ciencia, la Tecnología y la Sociedad (OCTS-OEI) y coordinador de la RICYT. El comentario fue realizado personalmente a los autores.

Bibliografía

1 AGUILLO, I. (2012): “Rankings de Universidades: El Ranking Web”, Higher Learning Research Communications, vol. 2, n° 1. Disponible en: www.hlrcjournal.com/index.php/HLRC/article/download/56/64.         [ Links ] 

2 BARSKY, O. (2014): La evaluación de la calidad académica en debate: los rankings internacionales de las universidades y el rol de las revistas científicas, Buenos Aires, Ed. Teseo, Universidad Abierta Interamericana.         [ Links ]

3 BENGOETXEA, E. y BUELA-CASAL, G. (2012): “The new multidimensional and user-driven higher education ranking concept of the European Union”, International Journal of Clinical and Health Psychology, vol. 13, pp. 67-73. Disponible en: http://www.sciencedirect.com/science/article/pii/S1697260013700097.         [ Links ]

4 BRISOLLA, S. (2010): “Rankings de universidades: ¿para qué y cómo construirlos?”, Los foros de CTS, Edición especial 2015 - Revista Iberoamericana de Ciencia, Tecnología y Sociedad -CTS, pp. 79-84. Disponible en: http://www.revistacts.net/los-foros-de-cts/309-ejes-tematicos/703-eje-3-ciencia-y-universidad.         [ Links ]

5 FEDERKEIL, G. et al. (2012): “Classifications and Rankings”, en F. A. Van Vught y F. Ziegele (eds.): Multidimensional Ranking The Design and Development of U-Multirank. Disponible en: http://www.springer.com/us/book/9789400730045.         [ Links ]

6 FRONDIZI, R. (1986): Ensayos Filosóficos, México DF, Fondo de Cultura Económica.         [ Links ]

7 GIBBONS, M. et al. (1986): La nueva producción de conocimiento. Ediciones Pomaire - Corredor. Barcelona.         [ Links ]

8 HAZELKORN, E. (2015): Rankings and the Reshaping of Higher Education. The Battle for World-Class Excellence, Nueva York, Palgrave MacMillan.         [ Links ]

9 IREG - OBSERVATORY ON ACADEMIC RANKING AND EXCELLENCE (2015): Pautas para grupos de interés de rankings académicos. Disponible en: http://ireg-observatory.org/en/pdfy/IREG-Guidelines_Spanish.pdf.         [ Links ]

10 LIU, N. y CHEN, Y. (2005): “Academic Ranking of World Universities - Methodologies and Problems”, Higher Education in Europe, vol. 30.         [ Links ]

11 MARGINSON, S. (2006): “Global university rankings: private and public goods”, 19° Annual CHER conference, Kassel, 7-9 de septiembre.         [ Links ]

12 MOED, H., BURGER, W., FRANKFORT J. y VAN RAAN, A. (1984): “The use of bibliometric data for the measurement of university research performance”, Research Policy and Science Studies Unit, Bureau Universiteit, University of Leiden.         [ Links ]

13 PÉREZ-ESPARRELLS, C. y GÓMEZ-SANCHO, J. (2010): “Los rankings internacionales de las instituciones de educación superior y las clasificaciones  universitarias en España: visión panorámica y prospectiva de futuro”, Documento de trabajo No 559/2010, Fundación de las Cajas de Ahorros, Madrid.         [ Links ]

14 PÉREZ RASETTI, C. (2015): “En contra de los rankings de universidades: el marketing pretencioso”, Los foros de CTS, Edición especial 2015 - Revista Iberoamericana de Ciencia, Tecnología y Sociedad -CTS, pp. 75-78. Disponible en: http://www.revistacts.net/los-foros-de-cts/309-ejes-tematicos/703-eje-3-ciencia-y-universidad.         [ Links ]

15 RAUHVARGERS, A. (2011): Global University Rankings and their Impact, European University Association.         [ Links ]

16 STELLA, A. y WOODHOUSE, D. (2006): Ranking of Higher Education Institutions, Occasional Publications n° 6, Australian Universities Quality Agency (AUQUA).         [ Links ]

17 TOMÀS FOLCH, M, FEIXAS, M., BERNABEU-TAMAYO, M. y RUIZ RUIZ, J. (2015): “La literatura científica sobre rankings universitarios: una revisión sistemática”, REDU- Revista de Docencia Universitaria, vol. 13, n° 3, pp. 33-54.         [ Links ]

18 USHER, A. y SAVINO, M. (2007): “A Global Survey of University Ranking and League Tables”, Higher Education in Europe, vol. 32, n° 1.         [ Links ]

19 VAN RAAN, A. (2005): “Fatal attraction: Conceptual and methodological problems in the ranking of universities by bibliometric methods”, Scientometrics, vol. 62, n° 1, pp. 133-143.         [ Links ]

Cómo citar este artículo

ALBORNOZ, M. y OSORIO, L. (2018): “Rankings de universidades: calidad global y contextos locales”, Revista Iberoamericana de Ciencia, Tecnología y Sociedad -CTS, vol. 13, n° 37, pp. 13-51.