MONOGRÁFICO

Rankings universitarios internacionales y conflictos por la regulación de la educación superior

Rankings universitários internacionais e conflitos pela regulamentação do ensino superior

International University Rankings and Conflicts Regarding the Regulation of Higher Education

Mabel Dávila *

* Magíster en ciencias sociales con orientación en investigación y políticas educativas por la Facultad Latinoamericana de Ciencias Sociales (FLACSO) y candidata a doctora en ciencia política por la Universidad Nacional de San Martín, Argentina. Investigadora y consultora de distintas universidades y organismos nacionales e internacionales en educación superior, educación técnica y tecnológica y políticas educativas. Profesora en universidades nacionales y extranjeras. Autora de varias publicaciones sobre educación superior. Correo electrónico: mabdavila@gmail.com.  

---

Los rankings universitarios internacionales son un fenómeno polémico pero de creciente repercusión y alcance en el conjunto de la sociedad. Mientras crecen también los cuestionamientos vinculados a la capacidad efectiva de este instrumento para valorar la calidad de la educación y a la metodología aplicada, son presentados, sobre todo en el debate que promueven los medios de comunicación, como fuentes rigurosas y objetivas de evaluación de la calidad de las universidades. Sin embargo, las consultoras que los comercializan generalmente están vinculadas a las grandes editoriales internacionales dominantes en el mercado de revistas académicas. Existen poderosos intereses comerciales detrás de estos sistemas de evaluación vinculados al control de las revistas con referato y sus impactos. Paralelamente al crecimiento de su legitimidad y prestigio ante la sociedad, se plantean conflictos con otros actores por la coordinación de la educación superior, en particular las universidades afectadas, los Estados que intentan promover mecanismos efectivos de mejora de la calidad y también aquellos mercados que ocuparán a los graduados universitarios y buscan competencias diferentes a las que promueve el mercado editorial, interesado únicamente en la publicación de papers. Por estas razones, los rankings dudosamente contribuyen a valorar efectivamente la calidad de las universidades y su acción tampoco es neutra, dado que a medida que aumenta su injerencia pueden promover sesgos y distorsiones en los procesos y prácticas desarrollados por las universidades.

Palabras clave: Rankings universitarios internacionales; Coordinación de la educación superior; Editoriales internacionales de revistas académicas 

Os rankings universitários internacionais são um fenômeno polémico, mas de crescente repercussão e alcance no conjunto da sociedade. Enquanto também crescem os questionamentos sobre a capacidade efetiva deste instrumento para avaliar a qualidade do ensino e da metodologia aplicada, são apresentados, sobretudo no debate promovido pela mídia, como fontes rigorosas e objetivas de avaliação da qualidade das universidades. No entanto, as consultoras que os comercializam geralmente estão ligadas às grandes editoras internacionais dominantes no mercado de revistas acadêmicas. Existem poderosos interesses comerciais por trás desses sistemas de avaliação vinculados ao controle das revistas pelo sistema de revisão por pares e seus impactos. Paralelamente ao crescimento de sua legitimidade e prestígio na sociedade, surgem conflitos com outros atores pela coordenação do ensino superior, particularmente com as universidades atingidas, os Estados que tentam promover mecanismos efetivos de melhoria da qualidade, e também os mercados que serão ocupados pelos diplomados universitários e que procuram competências diferentes às promovidas pelo mercado editorial, apenas interessado na publicação de papers. Por estas razões, os rankings raramente contribuem a avaliar efetivamente a qualidade das universidades e sua ação também não é neutra, pois à medida que aumenta sua ingerência, podem promover vieses e  distorções nos processos e práticas desenvolvidas pelas universidades.

Palavras-chave: Rankings universitários internacionais; Coordenação do ensino superior; Editoras internacionais de revistas acadêmicas

The international university rankings are a controversial issue that has increasing consequences for and reach in society at large. While the questions increase regarding the effective capabilities of this instrument to value the quality of education and the methodology applied, they are presented, above all in the debate promoted by communication media, as rigorous and objective sources for evaluating the quality of universities. However, the consultancy firms that market them are generally linked to the large international publishers that dominate the academic journals’ market. Powerful commercial interests exist behind the evaluation systems related to the control of “refereed” journals and their effects. Concurrently with the growth of their legitimacy and prestige before society, issues arise with other parties due to the coordination of higher education, in particular with the universities affected, the States that try to promote effective mechanisms to improve quality and also the markets that the university graduates will join and that seek different areas of competency to those promoted by the editorial market, which is solely interested in publishing papers. Because of these reasons, it is doubtful that rankings contribute to effectively value the quality of the universities, nor are their actions neutral, given that, as their encroachment increases, they can promote biases and distortions in the processes and practices developed by the universities.

Keywords: International university rankings; Higher education coordination; International publishers of academic journals

---

Introducción

En un escenario de profundos y crecientes cambios en la educación superior a nivel mundial, irrumpen también los rankings universitarios internacionales, un fenómeno polémico pero de creciente repercusión y alcance en el conjunto de la sociedad.

A los debates comúnmente asociados a los cambios mencionados relativos a la internacionalización de estudios e instituciones, a la evaluación de la calidad universitaria, a la regulación de las instituciones, a la definición de políticas de financiamiento, a la vinculación entre universidades y empresas, entre otros aspectos, se suma ahora la polémica en torno a los rankings universitarios, que cobra trascendencia no sólo en la academia y los ámbitos de gestión de políticas, sino en la tribuna de los medios de comunicación que le dan un espacio relevante y los presentan como fuentes de información rigurosa sobre la calidad de las universidades. Proliferan paralelamente los espacios de investigación, debate académico y consultoría sobre estos instrumentos, incluso entre las autoridades universitarias, preocupadas sobre todo por la metodología de cálculo y los mecanismos para lograr mejores puestos en el ranking.

Crecen también los cuestionamientos vinculados a la capacidad efectiva de este tipo de instrumentos para valorar la calidad de la educación, a la metodología de cálculo -tanto a las variables consideradas como a los criterios utilizados para ponderarlas-, a la subjetividad de los indicadores utilizados -en particular en aquellos casos en los cuales se recurre a encuestas a distintos actores-, a las asimetrías asociadas a las variables seleccionadas, a la eventual discrecionalidad de los resultados, que son permanentemente objeto de sospecha, y a los impactos posibles en las instituciones y sus lógicas y -a través de éstas- en la sociedad.

No es ajena a esta problemática la cuestión de la regulación de la educación superior, motivo histórico de conflicto entre la academia y el estado, que actualmente suma también al mercado como actor en un contexto de creciente internacionalización. En este contexto entran a jugar como actores globales las instituciones que están detrás de los rankings universitarios. Cabe preguntarse por los objetivos, las estrategias desarrolladas, la repercusión de las críticas y la incidencia de estos nuevos actores en el escenario de la educación superior universitaria, entre otras cuestiones que se analizan en el presente artículo.

Transformaciones y tendencias en la regulación de los sistemas de educación superior

Desde mediados del siglo XX vienen ocurriendo cambios en la educación superior a nivel mundial. Los sistemas nacionales homogéneos, conformados por un solo tipo de institución -las universidades tradicionales- y pocas carreras, gradualmente fueron dando lugar a sistemas complejos. Éstos se caracterizan por un alto grado de diversificación institucional con nuevos estilos de gestión, proliferación de instituciones, desarrollo de nuevos tipos de carreras y áreas disciplinarias, mayor interdisciplinariedad, diferenciación horizontal y vertical con el desarrollo de posgrados y de tecnicaturas superiores, crecientes vínculos a nivel nacional e internacional entre universidades, internacionalización de estudios y movilidad de estudiantes, profesores y graduados, aparición de nuevas alternativas de financiamiento y crecimiento del sector privado en la gestión institucional, nuevas formas de evaluación y acreditación de la calidad, mayor desarrollo de la investigación científica y tecnológica y mayor vinculación de las universidades con los sectores de la producción, del Estado y de la sociedad en general, por citar algunos de los principales cambios que han configurado un nuevo escenario para la educación superior, con diferencias de acuerdo a los distintos contextos.

Algunas explicaciones para estos cambios tienen relación con los impactos de la globalización económica y del desarrollo científico y tecnológico en los procesos productivos y el crecimiento del comercio internacional y los cambios en los mercados laborales. Estos fueron generando la necesidad de una mayor pertinencia de los estudios de acuerdo a las demandas de los mercados. La educación superior se volvió cada vez más estratégica para generar desarrollo económico y social, e integración y competitividad a nivel internacional, involucrando también mayor interés e involucramiento por parte de los estados.

A su vez, la creciente demanda por parte del mayor número de estudiantes que fueron terminando la educación secundaria motivó, como respuesta de los Estados, políticas que promovieron el crecimiento de la oferta institucional. La expansión y diversificación de la oferta fue generando sistemas de mayor heterogeneidad y esto motivó la necesidad de implementar nuevos mecanismos que aseguraran la calidad, alternativas de financiamiento y nuevas formas de regulación, provocando modificaciones en la relación entre Estado, universidad y sociedad, con impacto en los sistemas y en las instituciones de educación superior, en particular en su gobierno y gestión (Dávila, 2012).

Las decisiones sobre el diseño, el funcionamiento, el proyecto institucional, la localización, las políticas académicas, los mecanismos de acceso, los órganos de gobierno y mecanismos de elección, los estándares de calidad, la enseñanza, la investigación y la extensión, la libertad académica, la elección del cuerpo docente y administrativo, la remuneración del personal y los mecanismos de financiamiento, entre otros aspectos académicos y administrativos, son motivo de negociaciones y tensiones en el marco de diversos debates sobre la autonomía y el control externo de las instituciones universitarias.

Clark (1983) propone un modelo de coordinación triangular para explicar la dinámica de la educación superior en la actualidad, con tres actores principales implicados en esta coordinación: la academia, el Estado y el mercado. Entre ellos habría diversas interacciones, negociaciones y conflictos que configurarían distintos escenarios con diferencias entre países e incluso al interior de los sistemas nacionales. En el nuevo escenario se profundiza, sobre la tradicional regulación académica, la regulación o coordinación del Estado y del mercado. En el primer caso, con cambios respecto a las modalidades burocráticas tradicionales hacia nuevas formas basadas, entre otras, en modificaciones en los marcos regulatorios y en las políticas de evaluación y de financiamiento, que suelen ser muchas veces producto de acuerdos entre los Estados y las universidades. No obstante, existen fallas de coordinación, siendo uno de los motivos el problema de la falta de alineación de los objetivos entre el Estado y las instituciones. A su vez, como explica García de Fanelli (2004), el mero proceso de creación de nuevas instituciones públicas y privadas de educación superior dio lugar al surgimiento de un contexto más competitivo dentro de cada uno de los países. Las universidades aumentaron su competencia por recursos humanos, financieros y por prestigio dentro de sus respectivos ámbitos, generando un mercado de la educación superior.

Clark identifica primariamente tres tipos de mercados en la educación superior: el de los consumidores, el ocupacional y el institucional. El mercado de los consumidores existe en tanto se intercambia dinero por bienes y servicios. Por ejemplo, cuando los estudios de grado y posgrado son arancelados, o cuando las universidades venden servicios al sector productivo. La intervención del gobierno en este mercado de consumidores se puede dar a través del financiamiento de becas o créditos educativos. Por su parte, el mercado de trabajo puede existir en aquellos casos en que los salarios de los docentes y de los no docentes están determinados por su productividad y en la medida en que existe movilidad del personal. Finalmente, el mercado interinstitucional está regido por los intercambios no regulados que se dan entre los establecimientos, los cuales están centralmente determinados por la naturaleza de sus mercados de consumidores y de sus mercados ocupacionales. En este mercado la reputación es la principal mercancía de intercambio. De algún modo, la incorporación de mecanismos que asignan fondos públicos a las universidades según una fórmula, donde se premian los resultados alcanzados por ellas, crearía una situación competitiva en el mercado interinstitucional (García de Fanelli, 2004).

En este escenario aparecen los rankings universitarios. Según Albornoz y Osorio:

“Los rankings pueden ser vistos también como una manifestación de cambios en los contextos en los que se desempeñan las instituciones de educación superior. Desde esta perspectiva, hay tres transformaciones recientes con las que sin duda se vinculan: a) La primera de ellas es la creciente internacionalización de la educación superior. Este fenómeno es interpretado como síntoma de la transición hacia “economías intensivas en conocimiento” y a la búsqueda global de talentos. El auge reciente de los rankings está sin duda ligado a tal proceso, ya que aspiran a tener un alcance global.

b) La segunda, remite a las tendencias de mercantilización de la educación universitaria. Estas tendencias abarcan diversos aspectos, pero son particularmente importantes (en relación con el punto anterior) en la constitución de mercados de alcance global o regional de estudiantes y de académicos. Muchos asignan a los rankings desde su origen la misión de aportar información para la toma de decisiones en el mercado académico. En el mismo sentido, se señala que alientan una “carrera por la reputación” destinada a incidir en la elección de universidades por parte de los estudiantes.

c) Una tercera transformación con la que se relaciona la difusión de los rankings remite a las transformaciones en las modalidades de gestión de sistemas e instituciones, que en forma creciente ponen en primer plano las vinculaciones de las instituciones con diversos actores. Un aspecto de tales vinculaciones es el de la provisión, por parte de las instituciones, de información confiable y accesible sobre su desempeño” (2017: 15-16).

Los rankings universitarios internacionales, características generales y principales cuestionamientos

Varios autores han realizado exhaustivos y críticos análisis de las características de los principales rankings universitarios internacionales; entre ellos cabe destacar los trabajos de Barsky (2014) y Albornoz y Osorio (2017).1 El primero, a partir de una perspectiva histórica, discute la inserción de este fenómeno en el contexto universitario latinoamericano, y en particular el argentino. Entre otras cuestiones resulta relevante la vinculación que establece entre la creciente industria de las editoriales académicas internacionales y los rankings universitarios, muchos de los cuales son realizados por estas empresas y responden a sus lógicas e intereses. El segundo estudio realiza una sistematización de los rankings de mayor repercusión a nivel mundial, sus características y los principales cuestionamientos teóricos y metodológicos a cada uno, señalando además algunos sesgos inherentes a la metodología aplicada, bajo la óptica de su capacidad para evaluar la calidad educativa. Ambos estudios critican, ante todo, la capacidad del instrumento para valorar efectivamente la calidad, siendo ésta la principal preocupación de la mayoría de los autores, como se verá a continuación.

A nivel mundial, el fenómeno de los rankings internacionales cobra importancia a partir de la publicación en 2003 del primer ranking internacional de universidades por parte de la Universidad de Jiao Tong Shanghai, el Academic Ranking of World Universities (ARWU) (Lloyd, Ordorika y Rodríguez, 2011). A partir de ese año, estas clasificaciones se han multiplicado. Según Ordorika (2015), en la actualidad es posible identificar al menos 18 rankings globales y un número mucho mayor de clasificaciones regionales y nacionales. Además del ARWU, entre los más destacados en medios de comunicación se encuentran el Times Higher Education World University Ranking (THE), el Webometrics y el QS World University Ranking (QS). Existen otros como el Scimago International Ranking (SIR) y el del Centre for Science and Technology Studies de la Universidad de Leiden, reconocidos entre especialistas de educación superior, pero con menos presencia en medios de comunicación.

Barsky (2014) señala que los primeros intentos de rankings construyeron clasificaciones sobre la base estrictamente de la calidad de las investigaciones de las universidades. “Nombres pomposos como el de ranking mundial de universidades se limitaban simplemente a ordenar a las universidades en base a indicadores ligados a los procesos de investigación del más alto nivel (Premios Nobel y Field de Matemáticas, publicaciones en la revista Nature y Science, e indicadores registrados en el sistema de registro de publicaciones e impacto).2  A partir de este perfil de medición las universidades llamadas de investigación, encabezadas por las norteamericanas y algunas europeas, fueron ubicadas en los primeros lugares y asimiladas al concepto de mejores. En realidad, el eje de estas instituciones es el alto nivel de sus investigaciones, lo que supone grandes recursos para ello”.3 

Posteriormente, con ánimo estrictamente comercial, sostiene Barsky, se construye el ranking del Times primero, y luego de la consultora Quaquarelli Symonds como una escisión de un grupo que participaba de la iniciativa anterior.4  5  En un intento de correrse parcialmente del universo estricto de las universidades de investigación, los técnicos de estas organizaciones asignaron un porcentaje decisivo de la puntuación a las evaluaciones subjetivas basadas en las opiniones de académicos y empleadores. Sin embargo, los académicos no tienen una opinión razonable sobre todas las universidades del mundo, de las cuales sólo conocen generalmente pequeñas partes asociadas a la disciplina que profesan o son repetidores de opiniones sobre las instituciones en base a la propaganda u otros mecanismos de difusión que estas realizan. Procesos similares a los de los empleadores que tampoco pueden tener una visión integral del mundo de los egresados, sus capacidades adquiridas y sus inserciones laborales. Por ello estas dimensiones son, en estas instituciones, un secreto de Estado: porque de revelarse se advertiría la fragilidad de esta información.

De hecho, sigue Barsky, en QS las universidades evaluadas pueden sugerir los nombres de los académicos no ligados a ellas y de los responsables de recursos humanos de las empresas que pueden ser consultados, y dependerá de la cantidad de personas sugeridas la capacidad para subir en indicadores que determinan nada enos que el 50% del puntaje total. Como resulta imposible para estas consultoras recabar una masa exhaustiva de información de cada institución, recurren a indicadores extremadamente simples. Por otra parte, los porcentajes asignados a cada indicador son absolutamente arbitrarios e ignoran el eje central de cada proyecto institucional universitario, que no puede definirse en términos internacionales porque depende de la especificidad de cada institución. Todo esto se complica más cuando entran en el terreno las universidades de gran tamaño, cuyos entramados de disciplinas y carreras no pueden ser agregados para un promedio numérico general.

Barsky concluye que existen poderosos intereses comerciales detrás de estos sistemas de evaluación vinculados al control de las revistas “con referato” y sus impactos, lo que enturbia aún más, desde otro ángulo, los problemas mencionados, provocando una reacción crítica muy fuerte de las comunidades académicas afectadas por los impactos provocados por estos rankings y su difusión en los medios de comunicación masivos. El autor destaca la relevancia de este fenómeno en el mundo anglosajón, donde surge y se consolida varias décadas atrás, contando con la aceptación generalizada de los distintos actores sociales. Y cuestiona los posibles sesgos que puede conllevar la aplicación de esta metodología a otras realidades, como la de los países latinoamericanos. En ellos el desarrollo de la universidad ocurre a partir de otras tradiciones, los rankings no tienen mayor repercusión y por esta razón no proliferan hasta hace pocos años y debido a la creciente influencia internacional mencionada. En particular, considera Barsky, comienzan a cobrar relevancia mediática cuando QS saca un ranking específico sobre universidades de la región, motivando, en diversos ámbitos, el debate académico y social respecto a la legitimidad, la calidad y la regulación de este tipo de instrumento.

Con el auge de los rankings universitarios se va formalizando un mercado global de reputaciones académicas aplicado a instituciones de creciente relevancia que acompaña el crecimiento y la proyección de la educación superior en un mundo cada vez más globalizado.

Como ya se mencionó, distintos autores cuestionan la aptitud de los rankings internacionales como herramientas útiles para evaluar la calidad de las instituciones de educación superior. Esto tiene que ver con las características del instrumento. Los rankings consisten en una valoración ordenada que surge de la selección de una serie de indicadores y de su ponderación de acuerdo a una valoración diferenciada. Según Albornoz y Osorio, “todo ordenamiento numérico en función de una variable configura un ranking, bien se trate de valores puramente cuantitativos (como el número de publicaciones científicas), o de indicadores relativos (número de publicaciones, por investigador)” (2017: 13).

Uno de los principales problemas que observan Lloyd, Ordorika y Rodríguez es que “frecuentemente se interpreta a los rankings como un reflejo de la calidad absoluta de las instituciones de educación superior, o por lo menos como la mejor aproximación a ella, de modo que su impacto suele ser mayúsculo, tanto en términos económicos como políticos. Por ejemplo, la posición de las universidades públicas en los rankings  puede tener repercusiones en el monto del subsidio que reciben del gobierno, así como en el diseño de las políticas públicas de evaluación de la educación superior. Los rankings también inciden en la elección de universidades por parte de los estudiantes, así como en el monto de las cuotas que están dispuestos a pagar. Inclusive, en el caso de Dinamarca, las autoridades migratorias utilizan uno de estos sistemas de clasificación de universidades para evaluar a los extranjeros que solicitan la residencia” (2011: 11). En consonancia con Barsky, estos autores señalan también la forma reduccionista y la falta de transparencia de las metodologías empleadas, el proceso comercial que los acompaña y el hecho de que éstos favorecen a un modelo único de institución: la universidad estadounidense de investigación, de la cual la Universidad de Harvard es el ejemplo por excelencia. En general, los rankings otorgan un peso preponderante a criterios como la producción científica de las universidades o el número de ganadores de Premios Nobel que pertenecen a su planta académica, factores que, como el sesgo a favor de las publicaciones científicas en inglés, favorecen a las universidades anglosajonas.

Estos productos han suscitado la adhesión de quienes aprecian una pintura ordenada y jerárquica de realidades complejas, pero también el rechazo de quienes resaltan la importancia de los aspectos contextuales en la interpretación del verdadero significado de los datos. En el caso de los rankings, con frecuencia hay además otras cuestiones en juego, tales como la validación general de determinadas políticas o la creación -más precisamente, la formalización- de un mercado global de reputaciones académicas aplicado a instituciones, pero también a personas, a partir de la construcción de unos índices que procuran sintetizar múltiples dimensiones y ordenarlas de un modo a la vez atractivo y engañoso (OEI, 2016).

Ordorika (2015) sostiene que los rankings más conocidos se presentan, de manera más o menos explícita, como mediciones supuestamente objetivas de la calidad de todas las universidades del mundo. No obstante, en la selección de indicadores y fuentes de información, en las metodologías para la construcción de indicadores y en su ponderación, se ocultan limitaciones y sesgos que no señalan explícitamente a la hora de presentar resultados. Este autor sistematiza y sintetiza los que considera como principales cuestionamientos:

a) Casi todas las clasificaciones internacionales se concentran en la medición de indicadores asociados a la circulación internacional de la producción de investigación -Premios Nobel, artículos en revistas indexadas en Web of Science o Scopus, académicos altamente citados (HiCi), artículos en Nature y Science y citas por artículo, entre otros-. Las actividades de formación de estudiantes, de extensión universitaria y difusión de la cultura, y la atención a diversas responsabilidades y compromisos con la sociedad, todas ellas funciones sustantivas de las universidades, están prácticamente ausentes de los rankings.

b) En el mundo de las publicaciones en revistas indexadas en Web of Science (WoS) y Scopus existe a su vez un sesgo muy marcado que favorece a los académicos y universidades de habla inglesa, existiendo un déficit de revistas académicas en español y, más aún, una muy baja presencia de estas revistas académicas en los índices especializados.

c) La indexación de revistas también presenta sesgos disciplinarios. Desde sus orígenes, ISI -actualmente WoS- y Scopus se orientaron fundamentalmente a la inclusión de revistas de ciencias biológicas y de la salud. Aunque ambos índices se han diversificado, la indexación y los sistemas de medición de impacto para las ciencias sociales y las humanidades son todavía incipientes.

d) Algunos rankings (THE y QS) utilizan métodos reputacionales a través de encuestas a muestras seleccionadas de académicos y empleadores potenciales de todo el mundo. La información sobre sus criterios y la integración filial es limitada. Según datos de THE para 2014, los académicos encuestados provenían en un 34%de Europa, 25% de Norteamérica, 24% de Asia, 10% de Oceanía, 8% de África yMedio Oriente y 5% de Centro y Sudamérica. Esta distribución se refleja en ladistribución de universidades por país en los principales rankings, con mayoría deuniversidades europeas y norteamericanas, en particular universidades de paísesde habla inglesa, y sobre todo en los primeros lugares.

En la misma línea, Mario Albornoz y Laura Osorio (2017), a partir de un relevamiento y análisis de los principales rankings, concluyen que la mayoría otorga un fuerte peso relativo a la actividad investigadora o está dedicada exclusivamente a ella, ya sea por ajustarse a un modelo que identifica la calidad de las universidades con su fortaleza en investigación, o por simplificación metodológica, debido a la mayor facilidad para obtener datos objetivos de esta función, en relación con las restantes, tales como la docencia, la extensión o la vinculación tecnológica. Por otra parte, el resultado práctico de examinar los listados jerarquizados de los rankings internacionales evidencia un dominio casi absoluto de las universidades de los Estados Unidos. Sólo esporádicamente universidades inglesas logran ubicarse en las primeras posiciones. Más esporádicamente aún, aparecen en los primeros puestos algunas universidades de Canadá, Francia y China. Se trata, además, de universidades de alta reputación, es decir, ampliamente conocidas como universidades de primera categoría.

Asimismo, continúan estos autores, en casi todos los rankings analizados, se observa el supuesto tácito de que, si una institución es altamente competitiva en investigación, la calidad de la educación que ofrece debe ser también muy alta. Este supuesto es incorrecto, particularmente en lo que se refiere a las universidades latinoamericanas, que deben dar respuesta a una fuerte demanda social en un contexto muy diferente al de las universidades propuestas como modelos a seguir. Funciones como la docencia, la extensión y la vinculación con el entorno, que son esenciales para evaluar el desempeño de las universidades latinoamericanas, no son tenidas en cuenta suficientemente en los rankings.

Repercusiones de las críticas a los rankings: ¿cambio de estrategia?

Con el advenimiento de las críticas, los principales rankings internacionales incorporaron una serie de cambios de estrategia tendientes a resolver los aspectos controvertidos mencionados desde diversos ámbitos. Se implementaron acciones para aumentar la repercusión, la legitimidad y competir mundialmente; sin embargo, cabe preguntarse si estos cambios tuvieron impacto en el mejoramiento de la aptitud del instrumento para medir la calidad de las universidades.

Con la proliferación de rankings de diverso tipo, región e idioma, aumentó la competencia a nivel internacional. Los rankings tuvieron que desarrollar estrategias que mejoraran su competitividad y sustentabilidad en el tiempo. Se observa una búsqueda permanente de legitimidad en la sociedad en general y en el medio académico, en particular. Cada vez más se toman en cuenta las críticas, se implementan cambios en la metodología de construcción de los indicadores y se desarrollan nuevos productos para ampliar su alcance institucional y disciplinar.

Por otro lado, a pesar de los cuestionamientos, la creciente repercusión de estos instrumentos aumenta el interés de las universidades en mejorar su posición en los rankings. Proliferan los foros de análisis y debate sobre este fenómeno en los ámbitos universitarios. Por ejemplo, desde 2015 la Universidad de Navarra organiza bianualmente la Building Universities Reputation Conference. Este foro cuenta con la participación de ponentes de varios países, entre ellos autoridades universitarias, representantes de rankings internacionales, consultores, gestores universitarios y miembros de las administraciones. Las conclusiones generales presentadas en 2015 giraban en torno al concepto de reputación:

a) Las universidades operan en un escenario global, sin fronteras, donde la reputación ha adquirido gran relevancia en la atracción de profesores, investigadores, estudiantes y apoyo social.

b) La reputación de la universidad es sinónimo de la “calidad percibida”, reflejo en la opinión pública de la “calidad objetiva”. Las raíces de la buena reputación se encuentran en la calidad de la docencia, la investigación y la transferencia a la sociedad.

c) Para no perder el foco de su misión esencial, la gestión de la reputación, como toda la actividad de la universidad, ha de tener en el centro la educación y la experiencia de los estudiantes.

d) Los rankings de universidades cumplen una función social en tanto informan a los estudiantes de sus posibilidades de elección; son una herramienta de trabajo para el gobierno de la universidad y un factor de transparencia para el conjunto de la sociedad en el ámbito de la educación superior. Al mismo tiempo, los rankings tienen limitaciones intrínsecas que aconsejan un uso prudente, como un elemento más de la gestión de la calidad y del conocimiento de las percepciones.

e) Para aspirar a una reputación excelente, cada universidad ha de perfilar los rasgos diferenciales de su identidad y definir su proyecto. Cuando la identidad y la marca están claras, es posible establecer objetivos e indicadores de gobierno y gestión.

f) La perspectiva de la reputación incluye los elementos intangibles, junto a los tangibles, en el gobierno de la universidad: la calidad, las relaciones, la transparencia, el ambiente de trabajo, la experiencia del estudiante, el conocimiento de las percepciones.

g) Entre los intangibles que configuran la reputación y han de ser gestionados, destaca la responsabilidad social universitaria. Dar respuesta a las necesidades y expectativas del entorno es parte de la misión de cada universidad.

h) El cultivo de la reputación lleva consigo un planteamiento estratégico de la comunicación, entendida no ya como difusora, sino como transformadora, puesto que para mejorar la reputación hay que mejorar la realidad.

i) En un escenario global, la reputación de cada universidad no se puede separar de su reputación como institución social. Por tanto, la mejora de la reputación implica una actitud de colaboración entre las universidades.

j) Ese planteamiento cooperativo interesa también a los poderes públicos, que han de establecer políticas, dotar de recursos y hacer lo posible para crear sistemas universitarios sólidos, que permitan a las universidades prestar el servicio que la sociedad espera y merece. (Universidad de Navarra, 2015)

Se concluye, entonces, que el ranking mide reputación, que la reputación es sinónimo de calidad subjetiva y que ésta, a su vez, se asociaría a la calidad objetiva. No sería la calidad en sí, sino la reputación el objetivo principal de aquellas universidades que no quieran quedar fuera de los rankings internacionales, que serían instrumentos idóneos para tal fin y estarían brindando un servicio fundamental para la sociedad. Se esgrime, además, su utilidad para los poderes públicos y la definición de políticas. Los cuestionamientos no son, en general, hacia los rankings y sus metodologías de valoración, sino hacia la incompetencia de las universidades para mejorar su visibilidad y volverse internacionalmente interesantes.

Las consultoras también construyen reputación a través de buenas campañas de marketing.6 En las páginas web de los rankings también proliferan los análisis de académicos, algunos incluso de autoridades de las universidades más prestigiosas del mundo -y que, por supuesto, figuran en los primeros lugares de los rankings internacionales-, que tienden a legitimar este tipo de discurso y presentan distintas orientaciones con protocolos para que las universidades puedan implementar mejoras tendientes a levantar su reputación y, por lo tanto, su lugar en los rankings.

Más allá de este tipo de discurso, sin embargo, los rankings de mayor repercusión vienen implementando una serie de cambios metodológicos tendientes a mejorar la construcción del indicador sobre la base de las principales críticas que surgieron desde los ámbitos académicos. Entre otros aspectos, parece que se buscó corregir los sesgos por regiones, por idioma y por disciplina, así como mejorar la precisión, la objetividad y la rigurosidad científica del indicador de la calidad institucional. Entre otros mecanismos, se incorporaron más variables -internacionalización, inserción laboral, visibilidad en Internet- y un mayor número de universidades y de más países. Sin embargo, los criterios para la ponderación de cada variable son arbitrarios y absolutamente subjetivos, los principales indicadores continúan siendo los mismos y el resultado final sigue sesgado hacia la función de investigación, en particular a la valorada a través de cantidad de docentes con doctorados, publicaciones de papers en las reconocidas revistas de sus propias editoriales científicas, citaciones, Premios Nobel y demás.

Como pasa en algunos casos con la evaluación institucional implementada por las agencias de acreditación (Barsky, 2014; Dávila, 2012), los rankings consideran una única modalidad de investigación y, por lo tanto, imprimen un sesgo en el análisis que condiciona a instituciones que se orientan a otros tipos de investigación más vinculados a las ciencias aplicadas y sociales y a la aplicación en el medio productivo, en instituciones sociales y en el Estado. La cantidad de citaciones y publicaciones no necesariamente es el mejor indicador de impacto y calidad para este tipo de investigación, cuyo resultado final no siempre es un paper en una revista científica de lengua inglesa.

No sólo no se contempla la diversidad institucional, sino que se reproducen los modelos disciplinarios e institucionales dominantes, y se promueve una visión unívoca de la calidad. Bajo la presunción -tan extendida en el mundo académico y no siempre tan acertada- de que un buen investigador es también un buen docente, no se evalúa la calidad de la función docente, ni otras funciones como la extensión y la transferencia. De esta forma, continúa habiendo asimetrías en cuanto a los tipos institucionales que favorecen a aquellas universidades orientadas a la investigación académica y, además, se obliga a aquellas que deciden ajustarse a estos criterios de calidad del paradigma dominante a implementar políticas institucionales con el fin de aumentar el número de publicaciones y citaciones del cuerpo docente.

Más allá de la incorporación de más instituciones y de más países, así como de la proliferación de rankings regionales, las exigencias en cuanto a publicaciones y citaciones evidentemente continúan promoviendo las mismas asimetrías regionales que se cuestionan, y por eso en los primeros lugares sigue habiendo una clara dominación de las universidades del mundo angloparlante.

En QS sigue teniendo prominencia la reputación académica -en 2012 había 15.000 consultados, y en 2016 75.000- como indicador de la calidad. La entrevista continúa siendo el principal instrumento para la definición, con todos los problemas de subjetividad, sesgos e incertidumbres que esto plantea. Algunas empresas contrataron auditores independientes para ser evaluadas, como es el caso del THE, que recurrió a PricewaterhouseCoopers (PwC).

Considerando los cambios implementados, se puede observar que subsisten varios de los problemas señalados. Aunque hubo modificaciones metodológicas en la forma de calcular los indicadores, los cambios implementados parecerían más de forma que de contenido, de manera tal que no es claro que haya un objetivo de mejorar la evaluación de la calidad de las instituciones universitarias, sino, por el contrario, parecería que principalmente se orientan a la búsqueda de la legitimidad de los rankings universitarios, sobre todo en el ámbito académico que los está cuestionando.

Coordinación de los sistemas de educación superior y rankings universitarios

Brunner y Uribe (2007), en su clásico estudio sobre los mercados universitarios, explican cómo las universidades nacen estrechamente imbricadas con algunos mercados externos. En este trabajo los autores elaboran un diagnóstico exhaustivo sobre el campo de análisis de los mercados universitarios y las dificultades teóricas y metodológicas para su estudio, dado que se trata de un objeto de alta complejidad, y proponen a su vez un abordaje multidimensional. A partir de una diferenciación entre líneas fundacionales y estructurantes, dan cuenta de una serie de líneas de investigación, entre las cuales cabe destacar, por su interés para este análisis, la denominada como dinámicas de “mercadización” y mercados nacionales.

Sostienen al respecto que resulta difícil referirse en singular a un solo proceso de “mercadización”, pues en realidad se trata de procesos de diversa naturaleza y con distintos efectos también. Consideran además que “la mercadización de la educación superior ha de entenderse como un desplazamiento que, si bien tiene una dirección general u orientación común, transcurre por diferentes carriles y es siempre tributario de una mezcla de condiciones que provienen de los contextos nacionales, de la historia de los sistemas y las instituciones, de las medidas de política empleadas por los gobiernos y del propio comportamiento estratégico de las instituciones una vez que ellas son expuestas a las fuerzas del mercado o sujetas a mecanismos de cuasimercado, por ejemplo, para la asignación de los recursos o la evaluación de su efectividad” (Brunner y Uribe, 2007: 61).

Los rankings universitarios estarían incidiendo en esta dinámica en la medida en que establecen criterios para valorar el prestigio de las universidades e inciden, de esta forma, directamente en el mercado institucional. No sólo buscan influir, sino convertirse, bajo un manto de supuesta objetividad, en la última palabra en cuanto a la valoración de reputaciones. Este aspecto evidentemente plantea problemas y distorsiones, además de tensiones y conflictos con las propias universidades -sobre todo las afectadas-, con los Estados y con todos aquellos mercados que emplean a los graduados y, por lo tanto, están estrechamente relacionados al mundo de las universidades, pero tienen lógicas e intereses diferentes a los de las grandes editoriales internacionales que digitan estos rankings y el mercado de las revistas académicas. En esta línea, cabe discutir sobre la valoración de la investigación y de un tipo de investigación en particular, por mencionar algunos de estos problemas.

Como señalan Albornoz y Osorio (2017: 31), “un aspecto no menor a tener en cuenta es que, como señalan varios autores, la finalidad implícita de los rankings puede estar vinculada con la construcción de un mercado académico global. En este sentido, la competencia entre las universidades por el reclutamiento de estudiantes de todo el mundo puede estar basada en el equívoco -que precede a los rankings, pero que éstos refuerzan, de que la visibilidad de la investigación garantiza la calidad de la educación. Este equívoco se traslada al mercado de trabajo, otorgando diferenciales de prestigio-desprestigio a los graduados, sin que ello predique en forma correcta acerca de la calidad de la formación alcanzada”.

Existen diversas tensiones entre las perspectivas asociadas a tradiciones vinculadas a la investigación científica y aquellas asociadas a la investigación tecnológica más vinculada al ejercicio de algunas profesiones. En la modalidad de evaluación de la investigación considerada por los diversos rankings mencionados, se observa un predominio de las visiones y los paradigmas de la enseñanza e investigación de las ciencias básicas, generalmente asociada a los procesos de investigación vinculados con la experimentación y el manejo de prácticas en el laboratorio, con tradición en doctorados de investigación y la publicación de papers en revistas académicas. En otras áreas, particularmente en las ligadas a las profesiones liberales, la calidad de la planta académica se define en gran medida por su experiencia en el mundo profesional, más que por su trayectoria como investigador. Las principales tradiciones de posgrado son las especializaciones -ingeniería, abogacía, medicina- y maestrías -ciencias sociales. En muchos de estos casos, además, es relevante la investigación aplicada a los procesos productivos y desarrollada muchas veces en sus contextos de aplicación. Es el caso de algunas ciencias sociales y humanidades en las que también resulta relevante la investigación aplicada a la resolución de problemas sociales, y en las que la publicación de libros tiene mayor repercusión (Barsky y Dávila, 2010; Dávila y Guaglianone, 2013).

En este punto, resulta de interés el análisis de Gibbons (1997), quien sostiene que ha surgido un nuevo modo de producción de conocimiento que se basa en los contextos de aplicación, dado que son los problemas los que guían la producción de conocimiento y por ello ésta se organiza de manera transdisciplinar. La complejidad que adquieren los problemas requiere soluciones desde varias disciplinas. Por eso se transita desde una investigación centrada en áreas disciplinarias a otra centrada en los problemas. Existe también un sistema de control de la calidad más amplio y ambiguo que la publicación académica sujeta a la revisión por pares. Los productores de conocimiento deben responder también frente a las partes interesadas y a la sociedad en su conjunto, y no sólo ante la comunidad científica.

No obstante, los rankings, un instrumento de medición de la calidad supuestamente actual, utilizan los mismos criterios de calidad y la misma visión que se viene aplicando desde el siglo XIX y que está en pleno proceso de cambio. La metodología aplicada no sólo no tiene ningún atributo de objetividad, sino que genera un sesgo, dudosamente producto de un error involuntario, dado que reactiva el mercado de publicaciones académicas con un traslado automático de los criterios de calidad de las ciencias exactas y naturales a campos del conocimiento diferentes.

Conclusiones

El debate en torno a los rankings académicos comprende diversas dimensiones que, a su vez, interaccionan entre sí imprimiendo mayor complejidad al análisis. Teniendo en cuenta el debate público, la principal fuente de conflicto entre diversos actores estaría asociada a cuestionamientos vinculados al instrumento en sí y su idoneidad para valorar la calidad de la educación, en parte por la complejidad del concepto “calidad” y en parte por la metodología aplicada que, entre otros problemas, imprime sesgos relativos a las variables utilizadas, así como también a la ponderación considerada para cada una. En este sentido, ocurrirían distintas asimetrías relativas a dimensiones institucionales, regionales y metodológicas.

Desde el punto de vista institucional, el principal cuestionamiento se plantea en torno a la excesiva correlación de la valoración de la calidad con la función de investigación. Además, hay un tipo específico de investigación que se está considerando por sobre todas las demás. Y es aquella vinculada a la publicación de papers en revistas académicas. También se plantean objeciones relativas a la posible discrecionalidad vinculada al uso de las encuestas como fuente de información, sobre todo cuando se considera que en los principales rankings internacionales siempre orbitan las mismas universidades en los primeros lugares, alternándose año a año.

Con el correr del tiempo, las instituciones a cargo de los rankings parecen haber tomado en cuenta estas críticas y buscaron legitimidad sobre todo de la academia que los cuestionaba. Si bien no abordaron todos los puntos de conflicto, dedicaron especial atención a resolver algunos. Y esta elección no parece ser tampoco ajena a intereses vinculados a las empresas editoriales a cargo de los rankings, dado que intentaron resolver de alguna forma -con dudosos resultados- los cuestionamientos relativos a asimetrías regionales e idiomáticas y a la subjetividad vinculada a las encuestas de opinión, entre otras, pero no hubo mayores cambios respecto a la importancia de la función de investigación asociada a los rankings, así como a las variables consideradas para valorar la investigación, que siguen siendo la publicación de papers, citaciones, Premios Nobel, doctorados y demás.

Cabe destacar que el mercado editorial de revistas científicas está concentrado y los principales jugadores son los mismos que operan en el mercado de rankings académicos, como señala Barsky (2014). Y esto tiene que ver con otra fuente de polémica: los eventuales impactos sobre las instituciones, sobre la calidad educativa, sobre la definición de las políticas institucionales y sobre las elecciones de los estudiantes, entre otros aspectos que en menor medida también se cuestionan, sobre todo desde las universidades.

El trasfondo de estas críticas se asocia, en gran medida, al histórico conflicto por la regulación de la educación superior, disputa que arranca con los orígenes de la universidad y que a lo largo de la historia ha involucrado a diversos poderes vinculados a la academia, a la Iglesia, a los Estados y a distintos actores sociales.

Inspirada en el modelo propuesto por Burton Clark, actualmente se plantea que

esta regulación está dada por un equilibrio entre academia, mercado y Estado, que conformarían los tres vértices de un triángulo y entre los cuales se configurarían diversas interacciones que variarían de acuerdo a los distintos contextos espacio- temporales. Diversos autores han aplicado y profundizado este modelo analítico a diferentes realidades, mostrando, entre otros aspectos, la complejidad de cada uno de estos vértices conformados por diversos actores, cada uno con sus propias lógicas e intereses.

Requiere especial mención la existencia de distintos tipos de mercados implicados de algún modo en el funcionamiento de las universidades. Por un lado, el mercado editorial mencionado anteriormente tiene interés en la función de investigación, en particular en un tipo específico de investigación que, como fue explicado, se vincula a la práctica de la misma asociada a la tradición de las ciencias exactas y naturales. Por otro lado, también existe un mercado productivo y laboral conformado por aquellas empresas e instituciones que contratan a los graduados universitarios y que requieren de estos determinados conocimientos y competencias que no necesariamente se asocian a la lógica de la investigación, o al menos a la lógica de la investigación vinculada a la publicación de papers.

En conclusión, la capacidad de los rankings para valorar adecuadamente la calidad de las universidades plantea grandes cuestionamientos. Por otro lado, su acción tampoco es neutra, dado que, en la medida en que aumenta su injerencia, puede promover sesgos y distorsiones en los procesos y las prácticas de las universidades.

Notas

1. Nota del editor: el artículo de Albornoz y Osorio ha sido actualizado especialmente para este dossier y puede ser consultado en este número.

2. Por “nombres pomposos como el ranking mundial de universidades”, Barsky se refiere al ARWU.

3. ARWU utiliza los siguientes criterios, indicadores y ponderaciones: calidad de la docencia (valorada a través de antiguos alumnos de la institución con Premios Nobel y Medallas Fields), 10%; calidad del profesorado (profesores de la institución que han obtenido Premios Nobel y Medallas Fields e investigadores con alto índice de citación en diversas materias), 40% (20% cada uno); producción investigadora (artículos publicados en Nature y Science y artículos indexados en Science Citation Index - Expanded y Social Science Citation Index), 40% (20% cada uno); rendimiento per cápita (rendimiento académico per cápita de la institución), 10% (Albornoz y Osorio, 2017).

4. THE utiliza los siguientes criterios, indicadores y ponderaciones: enseñanza (encuesta de reputación, 15%; proporción personal/estudiantes, 4,5%; proporción doctorados/licenciatura, 2,25%; proporción doctorados otorgados/personal académico, 6%; ingreso institucional 2,25%); investigación (encuesta de reputación, 18%; ingreso por investigación, 6%; productividad por investigación, 6%); citaciones (30%); perspectiva internacional (proporción estudiantes internacionales/locales, 2,5%; proporción personal internacional/local, 2,5%, colaboración internacional 2,5%); ingreso de la industria 2,5% (Albornoz y Osorio, 2017).

5. QS utiliza los siguientes criterios, indicadores y ponderaciones: reputación académica (medida por una encuesta global que da cuenta del punto de vista de los académicos acerca de las instituciones de mejor desempeño en su campo de experticia), 40%; reputación del empleador (medida mediante una encuesta global en la cual se consulta a los empleadores para que identifique a las universidades de las cuales provienen los mejores egresados), 10%; relación de estudiantes por facultad, 20%; citaciones por facultad, sobre la base de citaciones proporcionadas por Scopus, 20%; relación de profesores internacionales, 5%; proporción de estudiantes internacionales, 5% (Albornoz y Osorio, 2017).

6. Véase: Pérez Rasetti (2010).

Bibliografía

1 ALBORNOZ, M. y OSORIO, L. (2017): “Uso público de la información: el caso de los rankings de universidades”, Revista Iberoamericana de Ciencia, Tecnología y Sociedad, vol. 12, n° 36, pp. 11-49.         [ Links ]

2 BARSKY, O. (2014): La evaluación de la calidad académica en debate: los rankings internacionales de las universidades y el rol de las revistas científicas, Buenos Aires, Teseo, Universidad Abierta Interamericana.         [ Links ]

3 BARSKY, O. y DÁVILA, M. (2010): “La evaluación de posgrados en la Argentina”, Las carreras de posgrado en la Argentina y su evaluación, Buenos Aires, Teseo, Universidad de Belgrano.         [ Links ]

4 BRUNNER, J.J. y URIBE, D. (2007): Mercados universitarios: el nuevo escenario de la educación superior, Santiago de Chile, Universidad Diego Portales.         [ Links ]

5 CLARK, B. (1983): The Higher Education System. Academic Organization in CrossNational Perspective, Universiy of California Press.         [ Links ]

6 DÁVILA, M. (2012): Tendencias recientes de los posgrados en América Latina, Buenos Aires, Teseo, Universidad Abierta Interamericana.         [ Links ]

7 DÁVILA, M. y GUAGLIANONE, A. (2013): “La investigación en las universidades y su evaluación. Un estudio comparado entre Argentina, Brasil y Uruguay”, Revista Debate Universitario, n° 3.         [ Links ]

8 GARCÍA DE FANELLI, A. (2004): “La gestión universitaria en tiempos de restricción fiscal y crecientes demandas sociales”, en O. Barsky, V. Sigal y M. Dávila (coords.): Los desafíos de la universidad argentina, Buenos Aires, Siglo XXI editores, Universidad de Belgrano.         [ Links ]

9 GIBBONS, M. et al. (1997): La nueva producción del conocimiento. La dinámica de la ciencia y la investigación en las sociedades contemporáneas, Barcelona, Pomares, Corredor.         [ Links ]

10 LLOYD, M. W., ORDORIKA S. I. y RODRÍGUEZ GÓMEZ GUERRA, R. (2011): Los Rankings Internacionales de Universidades, su impacto, metodología y evolución,  México DF, DGEI-UNAM.         [ Links ]

11 OEI (2016): “Taller Indicadores, Rankings y Evaluación”, Buenos Aires, Centro de Altos Estudios Universitarios (CAEU-OEI).         [ Links ]

12 ORDORIKA, I. (2015): “Rankings Universitarios”, Revista de la Educación Superior, vol. 44, n° 173, pp. 7-9.         [ Links ]

13 PÉREZ RASETTI, C. (2010): “El marketing pretencioso de los rankings de universidades”, El debate: Rankings de universidades, a favor y en contra, Texto II, Foro CTS, Revista Iberoamericana de Ciencia, Tecnología y Sociedad. Disponible en: http://www.revistacts.net/index.php?option=com_content&view=article&id=345:el-debate-rankings-de-universidades-a-favor-y-en-contra&catid=19:debates&Itemid=38.         [ Links ]

14 UNIVERSIDAD DE NAVARRA (2015): “Building Universities Reputation”, Pamplona, Universidad de Navarra, 22 al 24 de abril.         [ Links ]

Otras fuentes

ARWU World University Rankings. Disponible en: www.shanghairanking.com.

QS World University Rankings. Disponible en: https://www.topuniversities.com/university-rankings

Times Higher Education World University Rankings. Disponible en:  https://www.timeshighereducation.com/world-university-rankings.

Cómo citar este artículo

DÁVILA, M. (2018): “Rankings universitarios internacionales y conflictos por la regulación de la educación superior”, Revista Iberoamericana de Ciencia, Tecnología y Sociedad -CTS, vol. 13, n° 37, pp. 67-84.