MONOGRÁFICO

La inconsistencia de los rankings internacionales de las universidades y la debilidad del debate académico en la Argentina

A inconsistência dos rankings internacionais das universidadese a fraqueza do debate acadêmico na Argentina

The Inconsistency of International University Rankingsand the Weakness of the Argentine Academic Debate

Osvaldo Barsky *

* Investigador principal del CONICET, Argentina. Ex coordinador académico del Fondo de Mejoramiento de la Calidad Universitaria (FOMEC) y ex coordinador del Área de Acreditación de Posgrados de la Comisión Nacional de Evaluación y Acreditación Universitaria (CONEAU) de la Secretaria de Políticas Universitarias de Argentina. Director del Centro de Altos Estudios en Educación (CAEE) de la Universidad Abierta Interamericana. Autor de diversos libros y artículos sobre la educación superior en Argentina. Correo electrónico: osvaldo.barsky@gmail.com.

---

En los últimos años, la difusión de los rankings internacionales de universidades ha provocado remezones en la comunidad académica y las autoridades universitarias de la Argentina, además de trascender periodísticamente en forma masiva. En algunos casos, cierta debilidad en la presencia en lugares destacados entre las universidades de la región ha dado lugar a explicaciones confusas, y en otros, particularmente en las universidades privadas, se asiste a esfuerzos importantes que incluyen la asignación de recursos humanos para trabajar en la mejora de las posiciones que ocupan las universidades. Pero en muy pocos casos ha habido esfuerzos invertidos en valorar la aptitud de este tipo de mediciones para medir la calidad de las instituciones universitarias. En este artículo se pretende contribuir a explicar el origen y las dificultades metodológicas de los rankings internacionales, y las respuestas que a escala internacional están encarando las comunidades académicas, donde se ha hecho conciencia de los impactos negativos de estas mediciones de excesiva precariedad. También se señala la conexión de estas temáticas con las políticas nacionales de evaluación e información universitaria, que vuelven a adquirir relevancia.

Palabras clave: Rankings internacionales; Universidades; Argentina; Políticas nacionales deevaluación e información universitaria

Nos últimos anos, a divulgação dos rankings internacionais de universidades provocou receios na comunidade acadêmica e nas autoridades universitárias da Argentina, além de ter, jornalisticamente, uma enorme transcendência. Em alguns casos, certa fraqueza na presença em locais destacados entre as universidades da região ensejou explicações confusas, e em outros, especialmente nas universidades particulares, há esforços importantes que incluem a alocação de recursos humanos para melhorar a posição das universidades. Mas em poucos casos houve esforços aplicados na avaliação da aptidão deste tipo de medições para mensurar a qualidade das instituições universitárias. Este artigo tem como objetivo ajudar a explicar a origem e as dificuldades metodológicas dos rankings internacionais, e as respostas que as comunidades acadêmicas estão enfrentando globalmente, onde existe consciência dos impactos negativos destas medições excessivamente precárias. Aponta-se, ainda, a conexão dessas questões com as políticas nacionais de avaliação e informação universitária, que novamente têm relevância.

Palavras-chave: Rankings internacionais; Universidades; Argentina; Políticas nacionais de avaliação e informação universitária

In the last few years, the awareness of international university rankings has caused upheavals in he Argentine academic community and university authorities, in addition to becoming massively known in the press. In some cases, a certain weakness of presence in important places among the region’s universities has given rise to confusing explanations and, in others, particularly in private universities, assistance is given to significant efforts that include the allocation of human resources to work towards improving the positions occupied by the universities. But in very few cases have efforts been made towards assessing the aptitude of these types of metrics to measure the quality of university institutions. The intent of this article is to help explain the origin and methodological difficulties of international rankings, and the responses being given by academic communities at an international level, where awareness has been raised regarding the negative impacts of these excessively fragile measurements. The connection to subjects pertaining to national policies on university evaluation and information is also pointed out.

Keywords: International rankings; Universities; Argentina ; National policies on university evaluation and information 

---

Introducción

En los últimos años, la difusión de los rankings internacionales de universidades ha provocado remezones en la comunidad académica y las autoridades universitarias de la Argentina, además de trascender periodísticamente en forma masiva. En algunos casos, cierta debilidad en la presencia en lugares destacados entre las universidades de la región ha dado lugar a explicaciones confusas, y en otros casos, particularmente en las universidades privadas, se asiste a esfuerzos importantes que incluyen la asignación de recursos humanos para trabajar en la mejora de las posiciones que ocupan las universidades. Pero en muy pocos casos ha habido esfuerzos para valorar la aptitud de este tipo de mediciones para medir la calidad de las instituciones universitarias.

En este artículo se pretende explicar el origen y las dificultades metodológicas de los rankings internacionales, y las respuestas que a escala internacional están encarando las comunidades académicas donde se ha hecho conciencia de los impactos negativos de estas mediciones de excesiva precariedad. También se señala la conexión de estas temáticas con políticas nacionales de evaluación e información universitaria, que vuelven a adquirir relevancia.

Un ranking o tabla clasificatoria es una relación entre un conjunto de elementos tales que, para uno o varios criterios, el primero de ellos presenta un valor superior al segundo, éste a su vez mayor que el tercero y así sucesivamente, permitiéndose que dos o más elementos diferentes puedan tener la misma posición. El orden se refleja asignando a cada elemento un ordinal, generalmente números enteros positivos o con decimales si se comparan cantidades significativas. De este modo se pueden reducir medidas detalladas a una secuencia de números ordinales, proporcionando una clasificación más simple y fácil de entender y que sustituye información más compleja que puede incluir múltiples criterios.

El origen de los rankings es deportivo. Permitió agrupar los resultados de los equipos o de individuos de distintos deportes en orden descendente, de manera de definir finalmente una tabla de acuerdo a puntajes obtenidos. El orden de alguna forma definía no sólo ganadores, sino también parámetros de calidad fácilmente medibles y también factibles de ser entendidos por los seguidores de estas actividades, facilitando el trabajo de los periodistas y de los medios de comunicación masivos. La medición en deportes es sencilla. Los equipos o jugadores se enfrentan en cada partido con el objetivo de ganar en un tiempo determinado y sumar puntos en el período fijado para la competencia global organizada.

Por su propia naturaleza institucional, las universidades, que agrupan carreras disímiles que integran disciplinas con tradiciones diferenciadas en relación a los campos del conocimiento y de las aproximaciones epistemológicas a ellos, parecen imposibles de ser sometidas a un tratamiento similar a escala planetaria. No todas las universidades tienen los mismos objetivos ni la misma historia institucional y nacional; por lo tanto, no puede decirse que jueguen el mismo juego, ni compitan directamente entre sí para obtener puntajes, ni tampoco pueden acumularlos ya que no se sabe cuáles serían los criterios para ganar.

Sin embargo, lo que parecía un despropósito, sobre todo a escala internacional, no fue obstáculo para que la temática avanzara y se concretara en un núcleo de ámbitos académicos y particularmente de revistas y periódicos que encontraron una fuerte repercusión en la opinión pública y en potenciales clientes de esta información.

En los medios académicos latinoamericanos se asiste a una incipiente reacción frente a la creciente difusión periodística y las repercusiones institucionales. De todos modos, sigue pesando frente a estas clasificaciones, y particularmente en relación a los criterios de “modelo de universidad implícita”, un estado de adaptación, o en todo caso de culpabilidad o impotencia, frente a las dificultades de adaptarse a estos niveles de calidad que se suponen objetivos y universales. Desentrañar esta temática en profundidad supone remontarse a la evolución del sistema universitario internacional y al desarrollo de los procesos de evaluación de la calidad de las actividades universitarias y de su acreditación, de los que se deriva la construcción de indicadores que luego han sido utilizados en las tablas clasificatorias.

1. El origen de la clasificación de las universidades en países, disciplinas y regiones

Los antecedentes de los rankings se vinculan a procesos de la sociedad norteamericana, donde surgieron en el deporte y en la educación como parte de una cultura nacional habituada a la evaluación y a la competitividad. Esto está ligado al origen de las universidades estadounidenses, con un fuerte peso de las universidades privadas y de las estatales descentralizadas por Estado, en ambos casos con fuertes controles de la sociedad civil de sus objetivos y de su calidad.

Las acreditaciones de las instituciones universitarias por las asociaciones de universidades desde fines del siglo XIX convirtieron en práctica habitual el acceso al conocimiento público de las normas de calidad aplicadas para evaluar y reconocer a los miembros del sistema universitario. En los Estados Unidos, las clasificaciones académicas aparecieron por primera vez en la década de 1870. Entre ese año y 1890 la Oficina de Educación publicó un reporte anual con datos estadísticos y clasificando a las instituciones. En 1910 la Asociación Americana de Universidades instó a la Oficina a reinstalar las clasificaciones. 1911, la Oficina de Educación publicó una clasificación de 344 instituciones. Entre 1910 y 1933 el psicólogo James Mc Keen Cattell, profesor de la Universidad de Pennsylvania, publicó American Men of Science, un ranking anual de las instituciones en base al número de científicos eminentes asociados a las instituciones como miembros o como estudiantes y el porcentaje sobre el total de profesores. En 1925 Raymond Hughes, presidente de la Universidad de Miami y luego director del American Council on Education, publicó A Study of the Graduate Schools of America, que ordenaba a 26 disciplinas de instituciones de acuerdo a su reputación. En 1957 Chesley Manly, del Chicago Tribune, publicó seis diferentes rankings: las mejores universidades, los mejores colegios mixtos, los mejores colegios de hombres, los mejores colegios de mujeres, las mejores escuelas de leyes y las mejores de ingeniería. En 1959 Hayward Keniston, de la Universidad de Pennsylvania, publicó un ranking en base a las reputaciones de 15 universidades en una amplia gama de disciplinas. En 1966 Allan Carter, del American Council of Education, publicó An Assesment of Quality in Graduate Education, donde ordenó 106 instituciones. Peter M. Blau y Rebecca Z. Margulies ordenaron entre 1973 y 1975 a las escuelas profesionales en base a las opiniones de los decanos de las mismas, publicando en 1974 The Reputations of American Professional Schools.

Si bien los sistemas de clasificación jerárquica de universidades o departamentos existen en los Estados Unidos desde hace más de un siglo, los rankings comenzaron a adquirir mayor visibilidad e importancia a partir su aplicación sobre la enseñanza de grado, como cuando en 1982 se publica la Fiske Guide to Colleges, y alcanzaron repercusión masiva gracias a la publicación, por Roberto (Bob) Morse, del America’s Best Colleges del U.S. News & World Report, en 1981.

Desde su primera aparición, U.S. News & World Report ha recibido mucha atención del público norteamericano. U.S. News & World Report publica anualmente las mejores escuelas de posgrado de los Estados Unidos en base a seis indicadores principales y diez sub-variables que incluyen la reputación académica, la selección de los estudiantes, los recursos docentes y financieros, la tasa de retención y la satisfacción de los alumnos.

Para ciertas disciplinas como las vinculadas a administración y negocios, las revistas especializadas comenzaron a ordenar a las instituciones en base a encuestas de opinión entre académicos, usuarios y receptores de los egresados, es decir a empresas. Estas formas de reconocimiento se desarrollaban en forma paralela a métodos propios del sistema académico, como la consolidación de revistas con referato por disciplina, y a distinciones internacionales de gran exposición pública que premian a la calidad científica, entre las que se destacan los Premios Nobel.

Pero esta problemática adquirió una fuerte relevancia a partir de cambios en el control de los recursos estatales destinados a la educación superior. Y ello está asociado en gran parte a los procesos que se desarrollaron en Europa, donde el peso histórico del modelo de financiamiento estatal comenzó a ser cuestionado y a exigirse crecientes contrapartidas de calidad institucional de las universidades beneficiadas. En Inglaterra, en la década de 1960, después del Informe Robbins, se incrementó el rol del Estado para modernizar las universidades y lograr que jugaran un rol más decisivo en la innovación científica y tecnológica. Este proceso, inicialmente asociado a la creación de nuevas universidades y un gran incremento de la matrícula de estudiantes después de la Segunda Guerra Mundial, se modificó fuertemente desde 1979. La asunción de Margaret Thatcher impulsó, desde la publicación del Informe Jarrat en 1985, una fuerte reorientación de los procesos universitarios. Se disminuyeron los presupuestos estatales y se fortalecieron tendencias privatizadoras. Se concentró en la industria la capacidad para producir innovación tecnológica y se planteó a la universidad la necesidad de posicionarse con prestigio y calidad para afrontar estos nuevos desafíos generados desde la demanda productiva. El Informe Dearing, de 1997, reforzó estas tendencias privatizadoras al reorientar la investigación de las universidades hacia las nuevas tecnologías de la información y la comunicación para que ellas pudieran obtener financiamiento.

La extensión de estos procesos impulsó a las universidades a convertirse en receptoras de recursos provistos por la inversión privada o por los Estados que promovían desarrollos científico-técnicos asociados a cambios en la productividad del sistema económico

En este contexto pasan a ser funcionales los rankings universitarios por países y regionales, generales y especializados. El Sunday Times publicó por primera vez su rango de las universidades del Reino Unido en 2001 (UK THES), incluyendo las siguientes dimensiones: selección de los estudiantes, cociente entre académicos y estudiantes, alojamiento, tasas de egreso, número de estudiantes con altas notas, gasto en biblioteca, valor de las matrículas, número de estudiantes de posgrado y niveles y calidad del empleo de los graduados. En abril de 1998 el semanario Der Spiegel de Alemania publicó un ranking europeo de universidades en varias disciplinas. El diario La Repubblica de Italia se sumó a estas iniciativas y otras instituciones académicas y medios de difusión también lo hicieron.

Estos procesos se expandieron en otros continentes. En Australia la Good Universities Guide utiliza 16 indicadores de calidad. En Canadá, desde 1991, la revista Maclean’s utiliza 22 indicadores en base a encuestas a las universidades. Desde 1989 se publica en los Estados Unidos el Informe Gourman sobre carreras de grado y desde 1997 el Informe Gourman de Programas de Posgrado. La revista Asiaweek publicó el reporte sobre las mejores universidades de Asia entre 1997 y 2000. A lo anterior es necesario añadir que revistas especializadas privilegian a las carreras ligadas a la administración de negocios, lo que ha dado lugar a que los MBA (master in business administration) sean, a nivel internacional, probablemente objeto del mayor número de rankings mundiales y regionales. Creada en 1900 por Amos Tuck, de la School of Business Administration de los Estados Unidos, esta modalidad se ha expandido a gran parte de los países del mundo.

2. La internacionalización de los rankings: las tramas institucionales

Los rankings a escala planetaria son una manifestación de cambios en los contextos en los que se desempeñan las instituciones de educación superior. Se vinculan con tres transformaciones recientes:

• la creciente internacionalización de la educación superior;

• los procesos de mercantilización de la educación universitaria ligados a laconstitución de mercados de alcance global o regional de estudiantes y deacadémicos;

• los cambios en las modalidades de gestión de las instituciones universitarias que destacan las vinculaciones con distinto tipo de actores interesados, lo que conlleva la necesidad de provisión, por parte de ellas, de información adecuada y accesible sobre su desempeño.

2.1. Rankings formales de universidades

2.1.1. Academic Ranking of World Universities (ARWU)

El primer ranking mundial de universidades históricamente reconocido por la comunidad internacional es el publicado por la universidad Jiao Tong de Shanghái desde 2003: el Academic Ranking of World Universities (ARWU). La universidad depende directamente del Ministerio de Educación y de la municipalidad de la ciudad de Shanghái y sus orígenes se remontan a 1896, con la fundación de la escuela pública Nan Yang. Es una institución reconocida por su destacado papel en las ciencias y en las ingenierías; entre sus numerosos institutos de investigación, el Instituto de Educación Superior es el que ha construido la metodología y elabora anualmente este ranking de universidades

Este ranking de universidades de todo el mundo está basado esencialmente en indicadores cuantitativos de producción científica. Su creación estuvo estrechamente asociada a la decisión del sistema científico y universitario chino, fuertemente centralizado bajo la órbita estatal, de tener un modelo a replicar para el avance de la formación de científicos en el país. El modelo escogido fue el de las universidades donde buena parte de las nuevas camadas de científicos chinos se han formado, es decir: preferentemente las llamadas “universidades de investigación” de gran relevancia en Estados Unidos, unas 125 entre las 4000 universidades y colleges que integran el sistema de educación superior de ese país, pero de alto impacto en el proceso internacional de desarrollo científico. La lógica central de este ranking es de política estatal de una nación que privilegia fuertemente el desarrollo de la ciencia y que toma como modelo ideal al vigente en los países capitalistas más avanzados.

Desgraciadamente, la denominación genérica de este ranking introdujo de entrada una gran confusión sobre estas clasificaciones. La lista de clasificación que Shanghái utiliza se basa en un multi-indicador compuesto por casi exclusivamente indicadores ligados a la máxima producción científica mundial -Premios Nobel y Medallas Fields obtenidos por profesores y alumnos, artículos publicados en las revistas Nature y Science, papers y citas correspondientes a los indexados en el Science Citation Index (SCI) y el Social Science Citation Index (SSCI) del Institute for Scientific Information (ISI)-, que totalizan el 90% de la evaluación. Articulada con ellos, la dedicación de recursos humanos con estos antecedentes a tiempo completo mide la función de la enseñanza. Las ponderaciones entre los indicadores son arbitrarias, aunque debido a la dominancia de los vinculados con investigación el rendimiento en cada indicador tiende a correlacionarse estrechamente con el desempeño en los otros indicadores.

Se trata entonces de una lista de universidades con este perfil en la que se ordenan unas 500 instituciones, el 2% del total mundial. Así se registran 149 universidades norteamericanas, con Harvard como el máximo referente y 17 de ellas entre las 19 primeras (las otras dos posiciones pertenecen a las británicas Oxford y Cambridge). De Latinoamérica sólo aparecen cuatro universidades brasileñas, una argentina, una mexicana y una chilena, todas a partir de la escala 100-150. Si bien aparecen 29 universidades chinas, ninguna lo hace antes del puesto 151-200, lo que revela con toda crudeza la importante diferencia entre el nivel de la calidad de estas universidades y el modelo ideal escogido, además de la honestidad intelectual con que fue elaborada la clasificación, sujetándose rígidamente a los indicadores escogidos.

Sin embargo, con los indicadores seleccionados, esta clasificación es estrictamente parcial y mide esencialmente la función de investigación en las universidades de acuerdo a los parámetros dominantes en ciertas comunidades académicas. No mide directamente los niveles de internacionalización ni los recursos, ni en forma autónoma la enseñanza.

Al haber sido el primer ranking aceptado internacionalmente, el ARWU goza de prestigio en el perfil de las universidades de investigación, dado que además los datos son generados externamente y sólo el número de profesores equivalentes a tiempo completo está sujeto a la manipulación de las universidades.

2.1.2. Los rankings ligados al negocio de la evaluación universitaria

En los países desarrollados, la mercantilización de la educación universitaria ligada a la constitución de mercados de alcance global o regional de estudiantes y de académicos incluye también al enorme negocio de la evaluación universitaria. No podía escapar a ello el tema de los rankings universitarios. En el siguiente caso este entramado no sólo aparece con claridad, sino también el tamaño de los grandes jugadores de este mercado y las disputas abiertas de intereses mercantiles sobre esta temática.

Con variantes metodológicas, en 2004 el periódico The Times de Londres difunde el segundo ranking de impacto internacional. El ranking Times Higher Education (THE) fue originalmente publicado por el suplemento de educación superior del periódico. A partir de 2007 estos rankings fueron compilados por la consultora de temas educacionales Quacquarelli-Symonds (QS), dirigida por Nunzio Quacquarelli. Esta clasificación jerarquiza a universidades de todo el mundo a partir de una combinación de indicadores de producción científica y calidad de la enseñanza, presencia internacional de docentes y estudiantes y, en gran medida, opinión de empleadores y académicos seleccionados con relativa arbitrariedad por la consultora.

En 2009, el THE cortó sus vínculos con QS y firmó un acuerdo con Thomson Reuters, una enorme empresa de información generada por la compra que hizo The Thomson Corporation del Reuters Group Limited, más conocido como Reuters, una tradicional agencia de noticias con sede en el Reino Unido conocida por suministrar información a los medios de comunicación y a los mercados financieros. El 15 de mayo de 2007, The Thomson Corporation llegó a un acuerdo con Reuters para combinar las dos empresas. El 17 de abril de 2008, la nueva compañía fue creada bajo el nombre de Thomson Reuters, asentada legalmente en Canadá. Thomson Reuters es ahora una de las grandes compañías que suministra información para empresas y profesionales sobre diversos temas y mercados. Su plataforma proporciona a los académicos y administradores universitarios acceso a bases de datos del mundo de 12.000 de las revistas de mayor impacto académico y más de 110.000 resúmenes de congresos. Cubre las ciencias exactas y naturales, las ciencias sociales, artes y humanidades, y una cobertura retrospectiva que se remonta a 1900. Tiene su sede en Nueva York, con sucursales en Londres y Eagan, Minnesota, y opera en más de 100 países y emplea a unas 50.000 personas.

A pesar de la larga experiencia y tradición norteamericana en evaluación (o quizás justamente por ello), las revistas de este país se limitaron inicialmente a la evaluación de carreras de grado y posgrados locales o disciplinas específicas pero también locales. Actualmente la pionera del sistema, U.S. News, ha incorporado el ranking mundial de QS asociándose con la consultora inglesa, pero sin generar su propia metodología o tabla.

Luego de la ruptura con The Times, QS continuó publicando su ranking mundial sobre universidades (QS World University Rankings), avanzando sobre mediciones por disciplinas y por regiones, con una metodología más abarcadora. Esta estrategia le permitió incorporar un número mayor de universidades medibles, clientes potenciales para los avisos comerciales que ayudan a sumar ingresos a la consultora además de las alianzas mencionadas. Este ranking se difunde directamente como de QS o, como dijimos, a través de la U.S. News & World Report de los Estados Unidos. Hay que señalar que la ruptura mencionada con The Times no fue por cierto amigable y ambos grupos se critican duramente en sus documentos y compiten fuertemente por sus posiciones en el mercado de evaluación. Además, QS basa su información sobre revistas científicas en su asociación con la base de datos Scopus, del grupo editorial Elsevier, creada en 2004, mientras que The Times se asoció con Thomson Reuters, lo que muestra la importante batalla económica por el monopolio del suministro de la información que está detrás de estos procesos supuestamente académicos.

2.1.3. Las respuestas ligadas a la tradición rusa en ciencias

El ARWU tuvo un fuerte impacto a escala internacional. En una comunidad académica de gran tradición como la rusa y de otras naciones que integraban la Unión Soviética, los criterios utilizados dejaban en niveles muy bajos a sus comunidades universitarias. En 2003 la primera universidad que aparecía clasificada, la Universidad de Moscú, figuraba en la posición 102-151. Ello provocó un gran malestar en las universidades rusas y está estrechamente asociado a la larga tradición en los estudios sobre organización de la ciencia en Rusia.

La respuesta fue la creación del Global Universities Ranking-Reitor (Peümop), elaborado por la agencia Reitor y la Universidad estatal Lomonosov de Moscú. Los primeros resultados fueron publicados en 2009. Su nacimiento partió del diagnóstico de que los rankings internacionales difundidos no reflejaban adecuadamente las realidades de las universidades rusas. Su ranking se diferencia bastante en los indicadores de calidad utilizados hasta ese momento. Además del análisis de las universidades recogidas por los otros rankings analizados más arriba, se agregan aquí las casas de altos estudios de mejor nivel de la Federación Rusa e instituciones de los países que formaron la Unión Soviética. Además de otros tradicionales, utiliza indicadores como:1

• Número de programas de estudio por nivel (licenciatura, especializaciones y demás).

• Número de estudiantes ganadores de concursos académicos internacionales.

• Número de publicaciones de funcionarios que no sean artículos de revistas o monografías científicas, es decir: libros de texto, manuales y otros.

• Número de certificados sobre descubrimientos y las patentes de invención obtenidas por la universidad y por los funcionarios de investigación y académicos.

• Valor total de los servicios de formación y de laboratorio de las universidades. • Número de investigadores que han sido investidos doctor honoris causa por universidades extranjeras.

• Número de profesores que son miembros de academias nacionales e internacionales de ciencias.

• Características socialmente significativas de las actividades de los graduados en el campo de la cultura, los negocios, la política, o como funcionarios o directivos de organizaciones gubernamentales internacionales.

2.2. Rankings sobre la productividad en la función de investigación (sean o no universidades) 

Después de realizar importantes críticas a las metodologías de los rankings existentes, señalando la necesidad de restringir estas mediciones a actividades específicas como la enseñanza o la investigación y a espacios territoriales e institucionales homogéneos, el Centro para la Ciencia y Estudios Tecnológicos de la Universidad de Leiden, Suiza, elaboró el Leiden Ranking, una lista de clasificación que se basa exclusivamente en indicadores bibliométricos. A principios de 2007 clasificó a las 100 universidades europeas con mayor número de publicaciones científicas. Sus indicadores son el volumen de artículos científicos, el volumen de citación de los mismos, las citas por artículo, el número de trabajos publicados en el 10% superior de tasas de citación en el campo respectivo y la proporción de artículos de la universidad en esta categoría. Utiliza los datos de Thomson-ISI. Los datos son utilizados por los especialistas en la política de investigación y en menor medida están asociados a la reputación de la universidad, como en el caso de los otros rankings señalados.

The Taiwan Higher Education Accreditation and Evaluacion Council Ranking ordena las performances de los papers científicos publicados por 500 universidades a nivel mundial usando la información proporcionada por SCI y SSCI y midiendo la productividad de las investigaciones, su impacto y su excelencia. Se publica desde 2007.

El Ranking Iberoamericano del SCImago Institutions Ranking (SIR) clasifica a las instituciones universitarias iberoamericanas en base a los datos cuantitativos de publicación y citación de trabajos de investigación. Se vale para ello de Scopus, que agrupa a las revistas científicas seleccionadas por criterios algo menos restrictivos que los del ISI. En 2012 presentaba información sobre 1401 universidades de España, Portugal y América Latina. SCImago es un grupo de investigación dedicado a la evaluación de la ciencia mediante análisis, representación y evaluación de la información contenida en bases de datos. Los miembros del grupo SCImago pertenecen al Consejo Superior de Investigaciones Científicas (CSIC) y a las Universidades de Granada, Alcalá de Henares y Carlos III de Madrid, Extremadura, Oporto (Portugal), Universidad Nacional de la Plata (Argentina) y Pontifica Universidad Católica de Valparaiso (Chile).

2.3. Utilización de indicadores y clasificaciones sin el propósito de generar listados o rankings

El impacto de la difusión de los rankings internacionales de universidades produjo una fuerte reacción de las comunidades académicas de distintas regiones del mundo. Ya hemos visto lo que sucedió en Rusia y en los países que componían la Unión Soviética, con otra historia de tradiciones científicas e instituciones. Pero también en Europa y América Latina se objetaron fuertemente estas mediciones tal como se formularon e instrumentaron. En 2008 el Directorio General para la Investigación de la Comisión Europea creó un grupo de trabajo para la evaluación de la investigación universitaria, que en 2010 publicó un documento que mostraba la gran complejidad de clasificar a las actividades de investigación de las universidades dadas sus diversas tradiciones disciplinarias e instrumentos de validación de la calidad, elaborando una matriz de indicadores multidimensional.

Paralelamente el German Centre for Higher Education Development (CHE) de Alemania comenzó en 1998 a publicar un conjunto ordenado de indicadores, pero sin trasladar esta clasificación a las instituciones. La idea central es que los estudiantes puedan construir su propio perfil de universidad a la que se aspira. Universidades austríacas y suizas se sumaron a esta iniciativa, dándole un perfil internacional. A partir de 2007 se comenzó a publicar el CHE Excellence Ranking sobre ciencias naturales. Desde 2009 se extendió a la ciencia política, la economía y la psicología. Metodológicamente no se trata de construir un ordenamiento global simple, sino un análisis detallado que evita agregar datos parciales para producir un puntaje global. Ello se basa en la idea de que no existe una institución o modelo de institución universitaria que se pueda considerar “la mejor”, ya que cada una puede ser más relevante en ciertos campos disciplinarios o en ciertos aspectos (docencia, investigación, transferencia de conocimiento). En lugar de decretar a un presunto ganador universal, ofrece un ordenamiento multidimensional. Las ubicaciones de las instituciones en cada dimensión, y en cada disciplina a su vez, las posiciona dentro de un grupo: alto, medio o bajo. Las diferencias son consistentes entre cada grupo pero no entre instituciones, que sólo son ubicadas en orden alfabético.

El proyecto The U-Map, creado por la Unión Europea, es desarrollado por el Centre for Higher Education Policy Studies (CHEPS) de la Universidad de Twente, Holanda. Presenta un conjunto de indicadores en porcentajes y rangos que hace muy dificultoso construir tablas ordenadas de instituciones, ya que su propósito es sólo ofrecer información. Inicialmente fueron publicados datos sobre Noruega, Holanda y Bélgica.

Como una continuidad de los dos anteriores se crea el European Multidimensional University Ranking System (U-Multirank), proyecto financiado por la Unión Europea y ejecutado por CHEPS y CHE. Está destinado a crear un sistema mundial de información sobre las universidades que debería superar los principales inconvenientes de los actuales rankings mundiales y que se apoya en los avances del proyecto CHE. En materia de enfoque, cubre las distintas misiones de las universidades: enseñanza, investigación, innovación, internacionalización, impacto en la sociedad y empleabilidad de los egresados. No proporciona tablas de ordenamiento jerárquico ni realiza ponderaciones de los indicadores, que pueden ser independientes. Ello permite a los usuarios elegir sus propios criterios y ponderaciones al hacer comparaciones. Se reduce así el rol de la agencia encargada de la elaboración de los rankings con índices unificados.

En la misma dirección metodológica, América Latina y el Caribe decidieron adoptar la propuesta del Mapa de Educación Superior en América Latina y el Caribe (MESALC), impulsado por el Instituto Internacional de la UNESCO para la Educación Superior en América Latina y el Caribe (UNESCO-IESALC). Esta herramienta se proponía profundizar los conocimientos sobre la educación superior desarrollando y promoviendo la cultura de información, como una alternativa regional que trascienda las esferas de comparación que proponen los rankings universitarios. La decisión fue tomada durante el IV Encuentro de Redes Universitarias y Consejos de Rectores de América Latina y el Caribe, el 6 de mayo de 2011. El MESALC fue un intento de crear un sistema de información de libre acceso que contuviera datos estadísticos de las diferentes instituciones de educación superior de América Latina y el Caribe, un confuso proyecto que buscaba este objetivo sumando a cada una de las informaciones estadísticas de las universidades. Por este motivo no pudo instrumentarse.

En esta misma línea, y con el fin de promover la internacionalización del proyecto, en 2010 MESALC se asocia al proyecto INFOACES, financiado mayoritariamente por la Comisión Europea, dentro del programa ALFA III, que aglutina a un total de 32 socios de 22 países diferentes -17 de América Latina y cinco de Europa-, todos ellos coordinados por la Universitat Politècnica de València, a través del Centro de Gestión de la Calidad y del Cambio. Este proyecto tenía como objetivo principal crear indicadores de segunda y tercera misión con el fin de establecer las tipologías de un grupo diverso de instituciones de educación superior de América Latina y con miras a expandir el proyecto la totalidad de instituciones de la región. INFOACES contemplaba los mismos principios del MESALC, pero con un objetivo diferente: mientras que MESALC busca en primera instancia resaltar y conocer la realidad de cada institución de educación superior y de cada sistema nacional de educación superior (SNES), INFOACES se orientaba a estudiar la dinámica y la interacción de estas realidades. El sistema de indicadores se plantea en dos niveles. El primero estará constituido por un Sistema Básico de Indicadores referidos a la estructura (recursos y procesos), resultados (producto) y datos externos (contexto) de las instituciones de educación superior. En base a estos indicadores se construye la definición de tipologías, válidas no sólo para las instituciones participantes, sino para todas las instituciones de América Latina. En un segundo nivel, INFOACES incluye un Sistema Estratégico de Indicadores que recoge aquellos que están orientados a la gestión, evaluación y benchmarking de las instituciones. Los resultados obtenidos no fueron muy exitosos y el proyecto se encontró con serias dificultades de financiamiento para mantenerse en el tiempo.

Por cierto, existe una importante discusión sobre las dificultades de la utilización de indicadores en la evaluación de la educación superior, aunque su utilización esté muy extendida. Por eso, a distintos autores les gusta citar a Nicholls (1992): “Los indicadores son valores numéricos que se utilizan para medir algo difícil de medir”. Pérez Rasetti destaca estas dificultades cuando, al criticar metodológicamente a los rankings, señala:

“Lo primero que hay que descartar es la ponderación entre indicadores, especialmente porque es la operación que simplifica y reduce la información y también porque depende de una construcción poco sustentada, arbitraria y prejuiciosa. Es decir, presupone un modelo de excelencia previamente adoptado; en el caso del Ranking de Shangai, es bastante evidente que se trata del modelo de universidad de investigación norteamericana y deja afuera todo otro modelo institucional de educación superior, Por otra parte, algo nos enseñan los rankings sobre los criterios para la selección de los indicadores. Estos deben estar adaptados a la mostración del universo que se quiere abarcar y no nos serán de gran utilidad aquellos de ocurrencia excepcional, como sería el caso de los Premios Nobel para nuestra región” (2011: 13-14).

Una de las dificultades de la construcción del MESALC y de INFOACES es precisamente la rigidez en la utilización de ciertos indicadores válidos para ciertas disciplinas, pero mecánicamente extendidos por las comunidades científicas dominantes al conjunto del universo del conocimiento, reproduciendo así parte de los problemas que se busca evitar al abandonar la utilización de los rankings.

2.4. Rankings de páginas web

En 2004 aparece el Webometrics Ranking of World Universities, producido por el Cybermetrics Lab (CCHS), un grupo de investigación perteneciente al Laboratorio de Cibermetría del Consejo Superior de Investigaciones Científicas (CSIC) de España, en alianza con diversas universidades de este país y de Portugal. Webometrics clasifica a más de 20.000 universidades de todo el mundo a partir de la presencia de sus páginas web, y 12.000 son incluidas en sus listados.

Para este enfoque, la importancia que ha adquirido Internet es tal que se puede apreciar qué tan buena es una universidad analizando la presencia que tiene en la web la producción de sus académicos y la frecuencia con la que se consultan los productos respectivos y, en general, la página institucional. En consecuencia, la unidad de análisis en este caso es el dominio web institucional, por lo que sólo aquellas universidades y aquellos centros de investigación con un dominio web independiente son considerados. Se diseñaron cuatro indicadores a partir de los resultados cuantitativos obtenidos de los principales motores de búsqueda (Google, Yahoo, Live Search y Exalead).

El factor de impacto web (WIF, por sus siglas en inglés) combina el número de enlaces externos entrantes con el número de páginas web de un dominio, siguiendo una relación 1:1 entre visibilidad y tamaño. Esta relación se usa para hacer el ranking, añadiendo los otros dos indicadores: el número de “archivos ricos” que contiene un dominio web y el número de publicaciones incluidas en la base de datos de Google Scholar. Por su relevancia en las actividades académicas y de publicación y su volumen de uso, se consideran “archivos ricos” el número de Adobe Acrobat y PostScript, Microsoft Word y PowerPoint con terminaciones .pdf, .ps, .doc y .ppt.

2.5. Ranking de universidades por un aspecto específico

En 2007 la École Nationale Supérieure des Mines de París organiza el Professional Ranking of World Universities. Se clasifican aquí universidades de todo el mundo por la presencia de sus egresados como CEO de las 500 empresas listadas en la revista Fortune. Lo interesante es que, en este ranking, dentro de los primeros cinco lugares e incluso dentro de los 28, Japón encabeza el listado, seguido de los Estados Unidos, Francia, Gran Bretaña, y aparecen a Corea y Brasil, lo que mostraría una diferencia importante en relación a los ordenamientos basados en la calidad de las instituciones que miden otros rankings, aunque obviamente la propiedad nacional de las empresas está en muchos casos asociada a la de sus CEO.

3. Limitaciones metodológicas en la construcción de los rankings internacionales

Desde la aparición de los rankings, los intentos de generar escalas clasificatorias de instituciones complejas en base a algunos indicadores simples han sido objetos de análisis comparativos refinados y de duras críticas por diversos académicos. 2  Expondremos lo que en nuestra opinión son los ejes más relevantes de cuestionamiento a los rankings universitarios internacionales.

3.1. La imposible evaluación de objetos institucionales diversos

El solo intento de clasificar en orden descendente a miles de instituciones universitarias de diferentes países implica ocultar la principal característica de las universidades, que son normalmente grandes y complejas y que articulan una extraordinaria diversidad de distintas tradiciones universitarias y disciplinarias. A su vez, las universidades pueden tener algunas disciplinas con fuerte tradición en investigación y otras en transferencia o en calidad de la docencia.

Un caso notable por su dimensión es el de la Universidad de Buenos Aires (UBA). Desde su constitución es en realidad una federación de facultades de gran tamaño, con unos 300.000 estudiantes. La Facultad de Ciencias Económicas, por ejemplo, tiene 55.000 estudiantes, cifra que está por encima de la gran mayoría de las universidades del mundo. En esta Universidad hay facultades como las de Ciencias Exactas y Naturales con un peso importante de profesores de dedicación completa, muchos de ellos investigadores de primer nivel del Consejo Nacional de Investigaciones Científicas y Tecnológicas (CONICET) y con un relativamente bajo número de estudiantes. Con el apoyo del Ministerio de Ciencia y Tecnología, se desarrollan aquí muchos proyectos de investigación de alto nivel con alumnos becados como auxiliares de investigación. En la misma universidad, la Facultad de Ciencias Sociales, con una gran cantidad de estudiantes (25.000), un número reducido de docentes de dedicación completa y bajos recursos de investigación, ofrece un contraste notable.

Cuando los rankings internacionales miden con sus parámetros a la UBA, toman un promedio de situaciones extremadamente diversas. Arrastrada por algunas disciplinas, la universidad aparece con altos niveles en materia de investigación entre las universidades latinoamericanas, pero su promedio general se cae fuertemente al incluirse dimensiones como la relación entre alumnos y docentes de dedicación completa, o el número de doctores sobre los profesores, aspecto que en la tradición argentina no ha sido valorado hasta épocas recientes porque sólo corresponde a las disciplinas de aquellas de menor peso relativo (exactas, naturales, humanidades) frente al gran peso de las carreras profesionales que privilegian los títulos de grado u otros títulos de posgrado (especializaciones en medicina y derecho, maestrías en administración y ciencias sociales). Esquemas organizativos similares se encuentran en la Universidad Nacional Autónoma de México (UNAM), la más grande de América Latina, con sedes a lo largo del territorio mexicano, Canadá y Estados Unidos.

Emprendimientos institucionales de esta magnitud son imposibles de evaluar en términos comparativos en su globalidad. Las universidades argentinas de gestión estatal con ingreso irrestricto y sin costo matricular, con centenares de miles de estudiantes y decenas de miles de docentes, no pueden compararse en términos agregados con universidades privadas con examen de ingreso, alto costo de matrículas, escaso número de estudiantes, docentes de dedicación full time y máximo título académico, instalaciones académicas de alto nivel y concentradas en pocas carreras académicas preferentemente de posgrado, o con universidades estatales brasileñas con rasgos similares, salvo que no cobran aranceles.

3.2. El concepto de calidad subyacente o de modelo universitario implícito

Los rankings internacionales más difundidos parten abiertamente de un “determinado tipo ideal” de universidad, y los indicadores que se utilizarán son finalmente desagregaciones de los rasgos de ese tipo ideal. A la capa superior de estas instituciones se las denomina actualmente “universidades de rango mundial” (Salmi, 2009). Si bien quienes las analizan sostienen que no necesariamente deben tratarse de universidades de investigación, es evidente que los rankings internacionales al seleccionar las instituciones privilegian abiertamente aquellas que muestran altos niveles en materia de investigación.

El ranking más influyente desde esta mirada, elaborado por la Universidad Jiao Tong de Shanghái, se apoya en indicadores objetivos que tanto en materia de publicaciones, composición del personal docente y de los alumnos, refiere a los indicadores de más alta calidad internacional en materia de producción de ciencia. Los indicadores objetivos del THE y el ranking de QS asignan un papel destacado a la investigación y sus formas de medir la calidad de la enseñanza son muy pobres (relación profesores de dedicación exclusiva con número de alumnos). El hecho de que se sumen indicadores subjetivos de opinión de académicos y empleadores introduce factores poco controlables, ya que supondría un conocimiento del sistema universitario internacional por los encuestados que no existe, y por ende las opiniones están sesgadas por diverso tipo de imágenes (impactos publicitarios, difusiones en medios, acción orientada de las propias instituciones evaluadas que pueden sugerir a los evaluadores) que en todo caso permiten apreciar distancias con los indicadores más duros, sobre todo a medida que se desciende en las escalas de las universidades clasificadas. De todos modos, las posiciones de élite están reservadas a las universidades de investigación de gran tamaño.

Los indicadores subjetivos recogen las opiniones de los académicos consultados obre la calidad de las instituciones. Esta forma de recoger información ha sido ampliamente criticada por distintos especialistas, ya que es imposible que los informantes tengan nociones precisas de la calidad de las instituciones más allá de los saberes de su propia disciplina. E incluso en su propio campo no necesariamente están actualizados de nuevos desarrollos y además los criterios son afectados por razones de competencia, lo que suele estar muy presente en el mundo académico donde se disputan espacios de prestigio y de recursos.

En cuanto a las opiniones de los empleadores, otros estudios señalan que en realidad las decisiones de contratación por las empresas están asociadas a las cualidades personales del candidato, tales como aptitud de trabajo en equipo, creatividad, capacidad de resolver problemas, habilidades de comunicación y otras cualidades que pueden ser evaluadas directamente por los empleadores, y donde la institución donde estudió el egresado e incluso el carácter de su título de posgrado son un factor que se tiene en cuenta pero que no define su ingreso. Ello explica, en el caso de la Argentina, la mayor demanda de profesionales con especialidades y maestrías que de doctorados.

En relación a los indicadores que aparecen como “objetivos” -cantidad de profesores con título de doctorado, impacto de la producción científica en las revistas con referato en inglés, publicaciones por académico, repercusión de las actividades de la universidad en las mediciones realizadas en los sistemas informáticos (web), cantidad de alumnos por profesores-, tienen varias dificultades. La primera son los porcentajes asignados arbitrariamente a cada rubro. La segunda tiene que ver con la diversidad de situaciones dentro de algunos indicadores que dependen de la disciplina y cuya divergencia no expresa necesariamente calidad diversa. Así, en las carreras más profesionales la dedicación de los docentes es más baja, y ello tiene que ver con su mayor inserción en actividades profesionales que son una condición necesaria para elevar la calidad de los conocimientos transmitidos en estas áreas. Los indicadores en realidad están construidos sobre los criterios de calidad fijados desde su origen en las universidades norteamericanas de investigación.

3.3. La medición de la producción científica limitada por el idioma y un único medio de publicación 3

Las mediciones de las publicaciones académicas se restringen a una de las formas de circulación del conocimiento científico: las revistas con referato. Notablemente, ello afecta a la otra forma esencial de producción científica que es dominante en las ciencias sociales y humanidades: los libros. Para ciertas disciplinas claramente no es comparable la importancia de una publicación en revistas con un libro, que no es la mera suma de artículos, sino una obra integral del conocimiento de otra valía. Lateralmente, también han perdido la importancia que merecen los artículos en libros, que suelen ser relevantes de acuerdo al académico que opera de compilador. Su pérdida relativa de importancia, en relación a los artículos en las revistas, no tiene que ver con razones de calidad, sino estrictamente pragmáticas: las posibilidades de estandarizar cuantitativamente niveles de comparabilidad.

Ya hemos señalado la alta conexión existente entre algunas consultoras o revistas internacionales productoras de rankings y el control que las mismas empresas ejercen sobre la sistematización de las publicaciones en revistas con referato y en las citas que se derivan de las mismas. Los rankings de Jiao Tong de Shanghái y el THE utilizan la frecuencia con que aparecen mencionados los artículos científicos elaborados por los profesores de las universidades en SCI y SSCI. Habíamos señalado que Thomson Reuters es ahora una de las grandes compañías que proporcionan información para empresas y profesionales sobre diversos temas y mercados. Su plataforma proporciona a los académicos y administradores universitarios acceso a bases de datos del mundo de 12.000 de las revistas de mayor impacto académico y más de 110.000 resúmenes de congresos.

La otra gran alianza a nivel privado en materia de rankings, se desarrolla entre la revista norteamericana pionera del sistema, U.S. News, y la consultora inglesa QS con la empresa Elsevier, a través de la utilización de Scopus. Esta base cubre unos 18.000 títulos de más de 5000 editores internacionales, incluyendo la cobertura de 16.500 revistas con referato de las áreas de ciencias exactas y naturales, tecnología, medicina, ciencias sociales, artes y humanidades. Elsevier es una empresa refundada en 1880, pero tomó su nombre de una tradicional editorial holandesa creada en 1580.

Las revistas son organizadas jerárquicamente a escala internacional a través de dos mecanismos: aquellas que son editadas y publicadas por sociedades científicas reconocidas internacionalmente, y aquellas cuyos procesos de edición, publicación y comercialización se realizan a través de grandes empresas trasnacionales.

La producción científica mundial está dominada por el conocimiento generado en los países de alto desarrollo económico, lo que se expresa también en el dominio del procesamiento y la difusión de la información científica. La suma de publicaciones registradas en todos los campos de la ciencia que considera el ISI, que generó el grupo de los siete (Estados Unidos, Reino Unido, Japón, Alemania, Francia, Canadá e Italia) en el período 1981-2002, fue de 9.869.717. En cambio, los seis países iberoamericanos más productivos (España, Brasil, Argentina, México, Chile y Venezuela) registraron un total de 520.155 publicaciones en el mismo período, es decir: 19 veces menos.

Si bien en los últimos años se ha expandido la cantidad de publicaciones latinoamericanas con reconocimiento internacional, los puntos de partida son extremadamente disímiles y las tendencias de reproducción del sistema difíciles de equilibrar. Ello se agrava porque, siendo el inglés el idioma por excelencia en el mundo de la ciencia, los científicos angloparlantes ignoran el contenido de la literatura redactada en otros idiomas, lo que explica en gran parte el menor acceso que tienen los trabajos publicados en otras lenguas a la comunidad científica internacional. Hay a su vez otro efecto rebote. Las publicaciones nacionales orientadas a temas aplicados, cuyo público corresponde esencialmente a comunidades científicas o de utilización en estas áreas, son editadas en el idioma local y las temáticas son también esencialmente de interés específico.

De la mano de lo anterior está el otro gran desafío: enfrentar las mediciones actuales de la producción científica, centralizadas en torno al ISI fundado por Eugene Garfield en 1960. Posteriormente fue adquirido por Thomson en 1992 y a partir de 2008 es parte de la fusión entre Thomson y Reuters. ISI ofrece servicios de bibliografía. Está particularmente especializado en el análisis de citación. Mantiene la base SCI, que es posible consultar on line a través del servicio Web of Science (WOS). Esta base de datos permite a los investigadores identificar qué artículo ha sido citado más frecuentemente, y quién lo ha citado. ISI también tiene una publicación anual, el Journal Citation Report, que lista el “factor de impacto” de cada una de las revistas que controla. Dentro de la comunidad científica, el factor de impacto juega un enorme y controvertido papel para determinar el reconocimiento atribuido a las publicaciones científicas. Se calcula generalmente con base en un periodo de dos años. Por ejemplo, el factor de impacto en 2011 para una determinada publicación puede calcularse como sigue: A = Número de veces en que los artículos publicados en el periodo 2009-2010 han sido citados por las publicaciones a las que se les da seguimiento a lo largo del año 2011; B = Número de artículos publicados en el periodo 2009-2010; factor de impacto 2011 = A/B.

El factor de impacto mide la calidad de las revistas o su importancia. Esas revistas son de solvencia contrastada y de referencia en cada especialidad, y cada una tiene un factor de impacto calculado a partir del número de veces que los artículos publicados en ella son citados después en otros artículos. Como el número de citas que recibe un artículo indica el interés que suscita, el factor de impacto deviene un referente del prestigio de la revista donde se publican. Por lo demás, el factor de impacto de esas revistas (unas 8000) es muy dispar, variando entre 0,01 y 49,79.

Este tipo de indicadores facilita las evaluaciones de los patrocinadores (privados o estatales) de grupos de investigación para dar cuenta de la productividad de las inversiones realizadas; por ello existe una demanda por medidas como ésta. Tiene cobertura internacional amplia y es fácil de utilizar. También mide a las propias revistas y define financiamientos al respecto. Sin embargo, el factor de impacto ha sido cuestionado desde diversos ángulos:

• El número de las citas no mide realmente la calidad de la publicación, sino la cantidad de publicaciones.

• El periodo de cálculo base para citas es muy corto. Los artículos clásicos son citados frecuentemente aun después de décadas.

• La naturaleza de los resultados en distintas áreas de investigación produce distinta cantidad de publicaciones y a diferente ritmo, lo que tiene un efecto en el factor de impacto. Generalmente, por ejemplo, las publicaciones de la física tienen un período muy corto para ser citados, de uno o dos años, mientras que las del campo de la medicina tienen un factor de impacto más bajo; incluso dentro del campo médico es mucho más alto el impacto de las publicaciones en cardiología que en el resto de las especialidades.

La arbitrariedad del período de dos años fijados por el ISI para calcular el factor de impacto, la limitada cantidad de revistas incluida en la base de datos del ISI, el contar “revisiones” citadas con mayor frecuencia que un artículo original, el no tomar en cuenta el efecto que producen las “autocitas” para el cálculo de este índice y el presumir una relación directa entre citaciones y calidad de un artículo son algunas de las razones que han motivado innumerables críticas al uso del factor de impacto como indicador de la producción científica, sin poder impedir su utilización mecánica en la evaluación de los investigadores y en el apoyo a los proyectos.

3.4. Las dificultades en la medición de la calidad de la enseñanza en los rankings internacionales

Una de las mayores dificultades con que tropiezan quienes elaboran los rankings internacionales es medir la calidad de la enseñanza y hacer estas mediciones comparables. Por ello suelen asignarse representaciones proporcionales menores a esta dimensión. En un artículo publicado en octubre de 2011, Phyl Baty, el principal responsable de la metodología del ranking de The Times, señaló la pobreza de uno de los indicadores utilizados: la cantidad de profesores a tiempo completo por estudiante. Se supone que si hay una baja proporción de estudiantes por docente, esto mejora la calidad de la enseñanza. La evidente debilidad del indicador le llevó al propio Baty a señalar: “After all, you cannot judge the quality of the food in a restaurant by the number of waiters employed to serve it” (“Después de todo, no puedes juzgar la calidad de la comida de un restaurant por la cantidad de mozos empleados para servirla”). Este indicador es directamente inaplicable como promedio de diferentes tradiciones disciplinarias que conllevan también diferentes relaciones docente-alumno, pero se usa.

Para las universidades argentinas, sobre todo las de gestión estatal, este indicador es globalmente negativo, dado que el sistema de ingreso irrestricto en las universidades estatales y el importante tamaño de algunas universidades privadas con ingresos irrestrictos o con limitaciones relativamente débiles determinan un cociente muy alto comparado con buena parte de las otras universidades latinoamericanas, particularmente de Chile y Brasil.

Otro indicador que se utiliza es la cantidad de doctores por docentes totales. El sistema tradicional argentino de grado largo y gran peso de especialidades y maestrías ha hecho que en las disciplinas de mayor tamaño la cantidad de doctores sea muy escasa. Aunque existen incentivos continuos del Estado en esta dirección a través de becas, los cambios en esta temática toman décadas y no siempre arrojan resultados linealmente positivos. Ello también contrasta fuertemente con países como Brasil, donde el doctorado después de grados cortos y maestrías académicas cortas está estructurado ascendentemente desde 1964. El peso de la comunidad académica brasileña en los rankings de QS está explícitamente planteado por los directivos de la consultora en diversos artículos y ello se aprecia en haber sumado este indicador, que da un 10% de puntaje en las mediciones recientes para América Latina, rubro no contemplado en el ranking internacional de QS.

Finalmente, existen análisis muy refinados sobre la inconsistencia en los porcentajes asignados, particularmente en el gran peso de los factores subjetivos en los ranking de The Times y de QS, donde la mitad de los puntajes se asignan a consultas necesariamente arbitrarias a las comunidades académicas y a los empleadores que sólo pueden dar respuestas acotadas a las disciplinas que conocen directamente y en ningún caso a las universidades en su conjunto, lo que requeriría sofisticados mecanismos de evaluación y tiempos que exceden ampliamente a una consulta puntual.

Las comunidades académicas que elaboraron el CHE y el MESALC, basadas en una filosofía diferente a la de los rankings internacionales y promotoras de bases de información multivariables no valorativas, se extendieron ampliamente en estas críticas. Las comunidades académicas que habían impulsado estos procesos a nivel nacional intentaron no quedar asociados a estos tropezones internacionales.

4. Repercusión de los rankings y respuestas a las críticas

Los rankings han merecido profundas objeciones conceptuales y críticas estimuladas por las posiciones no siempre favorables para muchas comunidades académicas en relación a sus expectativas. No podemos detallar acá la innumerable cantidad de cuestionamientos, pero es importante señalar que la fuerza indudable de la tentación de clasificar a las instituciones por razones de mercado y opinión pública, además de prestigio de las comunidades académicas en juego, no sólo no debilitó el proceso de construcción de estos indicadores, sino que se fortalecieron en la opinión pública y en su repercusión en las comunidades académicas.

La respuesta a las críticas fue la creación de un verdadero movimiento académico vinculado favorablemente con la elaboración de los rankings traducido en la creación del IREG (Observatory on Academic Ranking and Excellence), que fue establecido en 2004 en el marco de la Reunión de Seguimiento de la Mesa Redonda sobre Indicadores Estadísticos para Evaluación de la Calidad de Instituciones de Educación Superior: Metodologías de Ranking y Tablas de Posiciones, convocada conjuntamente por el Centro Europeo de la UNESCO para la Educación Superior (CEPES) y el Instituto de Políticas de Educación Superior (IHEP). El grupo de especialistas articulado en torno al IREG dio a conocer, durante la segunda reunión formal sobre rankings, celebrada en Berlín en 2006, el documento Principios de Berlín sobre los Rankings de Instituciones de Educación Superior. Con posterioridad a este ejercicio, el trabajo del IREG se ha enfocado a la organización del Observatorio Internacional sobre Rankings Académicos y Excelencia, a través del cual se difunde información sobre los principales rankings de carácter nacional e internacional, así como el programa de actividades del grupo de trabajo.

El documento de Berlín sostiene los siguientes principios: a) ser una entre múltiples y diversas aproximaciones a la evaluación (assessment) de insumos, procesos y resultados de la educación superior; b) reconocer la diversidad de instituciones y tomar en cuenta sus diferentes misiones y objetivos; c) especificar el contexto lingüístico, cultural, económico e histórico de los sistemas educativos calificados mediante rankings; y d) dar preferencia a la medición de resultados. La atenta lectura de estos criterios resalta la imposibilidad de la construcción de un ranking global unificado que incorpore todas las dimensiones señaladas. Justamente las críticas que reciben estas tablas clasificatorias son las aquí enumeradas. Cada una de las dimensiones planteadas ha sido rigurosamente cuestionada.

Así, los rankings aparecen como medidas absolutas y no una de las diversas aproximaciones a la evaluación. Tienen criterios predefinidos y por ende no incorporan las diversidades de las instituciones y mucho menos sus distintas misiones y objetivos, como sí hacen las evaluaciones institucionales. Mucho menos se amoldan a los distintos contextos nacionales de los sistemas educativos. Finalmente muchos de los indicadores son de disponibilidad de recursos y no de resultados y otros son opiniones subjetivas estáticas sobre las instituciones.

Notablemente, estas y otras trabas extensamente enumeradas en este documento son presentadas como estándares para la construcción de rankings y no como luces rojas sobre las enormes dificultades para hacerlo. Como señalan agudamente Stella y Woodhouse (2006), parece como si una alerta sobre los peligros de fumar fuera convertida en un documento que dijera: “No hay problemas con fumar siempre y cuando usted evite los peligros del cigarrillo”.

5. Los medios de comunicación y los rankings

En 2010 Andrés Oppenheimer publicó su libro ¡Basta de historias! La obsesión latinoamericana con el pasado y las 12 claves del futuro. Este libro, así como diversos  artículos del autor, ha tenido una notable repercusión periodística, por lo que es un buen punto de partida para el debate sobre la calidad de la educación en Argentina y particularmente sobre los mecanismos de evaluación existentes a nivel internacional y nacional.

La tesis principal del libro es que los países latinoamericanos están demasiado inmersos en una revisión constante de la historia, que los distrae de lo que debería ser su principal prioridad: mejorar sus sistemas educativos. Se señala que los recursos naturales ya no son los que producen más crecimiento y que los países que más avanzan en el mundo son los que apostaron a la innovación y producen bienes y servicios de mayor valor agregado. Su visión de la situación del sistema educativo latinoamericano es profundamente crítica. Plantea que, si bien se ha producido un gran avance en la expansión cuantitativa de la educación en todos los niveles, para nada ello ha sido similar en términos de la calidad de la educación.

Específicamente en relación al sistema universitario, Oppenheimer señala que la visión triunfalista existente en la región sobre los logros de las grandes universidades latinoamericanas y de los sistemas educativos en general se desmorona en la medida en que se comparan con el resto del mundo. Utiliza para ello los rankings internacionales más conocidos: el realizado por The Times, en el que figura una sola universidad latinoamericana entre las primeras 200 a nivel mundial, la UNAM en el puesto 190; y el ARWU, que no ubica a ninguna de las latinoamericanas entre las 100 mejores, y sólo aparecen la de San Pablo entre el puesto 100 y 151 y las de Buenos Aires y la UNAM entre el puesto 152 y 200.

Otro comentario crítico está asociado a que las grandes universidades latinoamericanas tienen gran cantidad de estudiantes de las carreras humanísticas u otras con poca salida laboral o divorciadas de la economía del conocimiento del siglo XXI. Demasiados estudiantes en derecho, psicología, sociología, filosofía e historia y pocos en ciencias e ingeniería: 57% de los estudiantes de la región cursa carreras de ciencias sociales contra el 16% que cursa carreras de ingeniería y tecnología. Estas cifras van en la dirección inversa de países como China o la India, donde los estudiantes de ingeniería superan con gran amplitud a los de las carreras de ciencias sociales y humanísticas. Oppenheimer percibe a estos procesos estrechamente asociados al hecho de que América Latina y África sean las regiones del mundo con menor inversión en investigación y desarrollo de nuevos productos y con menos patentes registradas en el mercado mundial. Todos los países latinoamericanos invierten menos en investigación y desarrollo que Corea del Sur. Ello se explicaría porque la mayor parte de la investigación en Latinoamérica se hace en el ámbito académico estatal y está divorciada de las necesidades del mercado.

Hábilmente el periodista relaciona problemas estructurales de los países latinoamericanos que explican la baja inversión privada en ciencia y tecnología y la deformación de la oferta académica en perjuicio de las carreras de ingeniería con la ubicación desfavorable en rankings internacionales construidos con grandes debilidades metodológicas y sesgados hacia la función de investigación. Este tipo de enfoque justamente superpone esta función con el rango de calidad universitaria, empobreciendo notablemente el análisis de las instituciones universitarias.

En una nota en La Nación, el 9 de octubre de 2012, Oppenheimer insiste sobre el tema. Allí cita una conversación con Phil Baty, editor del ranking de The Times, que confirma que estas mediciones identifican calidad de la universidad con calidad en investigación. Dice Baty: “Las universidades de primera línea cuestan dinero. Y en América Latina vemos una concentración de recursos en universidades que tienen un enorme número de estudiantes y requieren mucho gasto en infraestructura, lo que les hace difícil invertir en investigación”. Lo que el entrevistado y Oppenheimer no advierten es que una gran parte del sistema universitario mundial, incluido el de los países desarrollados, se dedica a la formación de profesionales y técnicos en forma masiva, no necesariamente asociada a procesos de investigación de punta, lo que está reservado a instituciones universitarias y no universitarias (incluidas, crecientemente, empresas privadas de gran tamaño) que dan cuenta de lo fundamental de la investigación, tanto básica como aplicada. Buena parte de estos procesos avanzados de investigación no se reflejan en las formas tradicionales de registro del mundo académico.

Frank H. T. Rhodes, presidente de la Universidad de Cornell, señala que las denominadas “principales universidades de investigación” públicas y privadas del sistema norteamericano son 125 instituciones sobre un total de 4096 colleges y universidades. Las universidades de investigación se distinguen por tener un número sustancial de estudiantes de doctorado y un compromiso significativo con la investigación organizada, y representan el 77% de los gastos de investigación y desarrollo del sistema universitario. Rhodes señala críticamente los esfuerzos de otras universidades no incluidas en este selecto grupo de desarrollar actividades de investigación y posgrado: “La suposición ocasional de que la investigación -de la calidad que sea- es algo superior a la enseñanza, lleva en muchos casos a reducir la responsabilidad esencial de la enseñanza, en la cual la institución puede tener un récord largo y distinguido, y dedicarse a los estudios de posgrado e investigación, para lo que puede estar mal equipada” (2009: 48).

En la misma dirección, aunque sobre América Latina, Brunner (2012) señala:

“Entre las casi 4 mil universidades iberoamericanas (3.999) sólo 62 (menos de un 2%) se aproximan a la noción de una research university por el volumen de su producción científica medida bibliométricamente; un segundo grupo, de tamaño similar (69 universidades), puede calificarse como compuesto por universidades con investigación; luego hay un tercer grupo, de 133 universidades (3.3% del total) que, con benevolencia, puede decirse que se halla integrado por ‘universidades emergentes’ a la investigación, cada una de las cuales publican, en promedio, durante un período de cinco años entre 50 y 200 artículos anuales. En consecuencia, el 93% de nuestras 4000 universidades debe clasificarse como instituciones puramente docentes, incluyendo entre ellas a un grupo de algo más de 1100 universidades (28%) que tienen una actividad artesanal de investigación, publicando en promedio entre 1 y hasta 49.8 artículos anualmente durante el último lustro. Ahora bien, el hecho que en la época de la educación superior masiva y en vías de universalizarse, la mayoría de estudiantes curse sus estudiossuperiores en institutos no- universitarios y en universidades puramente docentes -públicas o privadas- no puede sorprender. Pues son estas instituciones - menos selectivas y, por ende, de menor prestigio académico y social, y con un menor costo unitario por alumno- las únicas que están en condiciones de garantizar un acceso masivo, y eventualmente universal, para estudiantes provenientes de hogares con menor capital económico, social y cultural. A ellas debemos que se hayan abierto las puertas hasta ayer cerradas hacia la educación terciaria, permitiendo el ingreso de un contingente cada vez más grande de jóvenes y adultos al dominio del conocimiento profesional y técnico hasta ayer controlado por una minoría” (Brunner, 2012).

Este diagnóstico y las numerosas notas periodísticas que han aparecido desde la difusión del ranking latinoamericano de QS hacen relevante profundizar en el análisis del tema de los rankings de las universidades en Argentina. La potencia comunicacional de los rankings, que permiten escalas simples de comparación, alcanza a públicos masivos que no se interesarían demasiado en análisis más complejos sobre la evolución de la calidad de la educación universitaria y la importancia de políticas refinadas y de larga duración al respecto. Así, la temática de la evaluación de la calidad -origen histórico de estos procesos- queda desfigurada y absorbida por estas generalizaciones.

6. Los procesos de evaluación en la Argentina y el desafío de los rankings

6.1. La organización institucional

En la Argentina la evaluación institucional fue introducida en la agenda universitaria recién hacia la década de 1990. La necesidad de la evaluación institucional había sido expresada por la comunidad universitaria a través de encuentros, talleres y actividades organizados con el fin de facilitar un debate democrático sobre una temática nueva y compleja. Pero fueron las políticas impulsadas por la Secretaría de Políticas Universitarias del Ministerio de Cultura y Educación, a través de la Ley de Educación Superior 24.521, sancionada en 1995, las que dieron un impulso decisivo a estos procesos. La resistencia del sistema universitario estatal estaba asociada a una mirada autosuficiente y autocomplaciente y al control político de las autoridades de las universidades estatales de los procesos académicos. Se asociaba también a esta resistencia el temor del sistema privado por el control de la evaluación estatal en relación a sus actividades.

La ley le dedica una sección completa a la evaluación institucional y a la acreditación y en su artículo 44 plantea: “Las instituciones universitarias deberán asegurar el funcionamiento de instancias internas de sistemas de evaluación institucional que tendrán por objeto analizar los logros y dificultades en el cumplimiento de sus funciones, así como sugerir medidas para su mejoramiento. Las auto-evaluaciones se complementarán con evaluaciones externas, que se harán como mínimo cada seis años, en el marco de los objetivos definidos por cada institución”. La obligatoriedad fue justificada hasta que se consolidara una cultura de la evaluación, por la escasa propensión de las instituciones a la evaluación externa.

En base a la experiencia institucional francesa, se crea la CONEAU (Comisión Nacional de Evaluación y Acreditación Universitaria), aunque se intenta asimilar también la experiencia norteamericana y se admite como complementarias, bajo la supervisión de la CONEAU, a las agencias privadas de evaluación reconocidas por el Ministerio de Educación. Los procesos bajo supervisión de la CONEAU son: a) la evaluación institucional externa de las universidades; b) la evaluación del proyecto institucional para la creación de nuevas universidades estatales; c) la evaluación para la autorización provisoria o el reconocimiento definitivo de las universidades privadas; y d) la acreditación de las carreras de grado y de posgrado.

6.2. La evaluación de las instituciones universitarias

Sobre la evaluación institucional, el sistema que adoptó la Argentina estuvo inspirado en el modelo francés de evaluación (aunque el francés no incluye acreditaciones). Se basa en una autoevaluación y en una evaluación externa. La diferencia es que en el caso francés el proceso de evaluación es estructurado, a partir de una serie de indicadores elaborados por un Comité Nacional de Evaluación (CNE) y de un cuestionario detallado. En el caso argentino, si bien hay lineamientos generales para el desarrollo del proceso y algunos lineamientos generales, la autoevaluación no es estructurada y depende su elaboración de los equipos o comisiones que se organicen en las instituciones. No se cuenta con un financiamiento que permita que el resultado de las recomendaciones reciba recursos adicionales externos.

En 1997 la CONEAU elaboró un documento, denominado “Lineamientos para laevaluación institucional”, que incluía una ejemplar carta de su presidente, el educador Emilio Mignone, a la que llamó “Criterios básicos para la autoevaluación universitaria desde el punto de vista de la evaluación externa”. Allí se señalaba que tanto la autoevaluación como la evaluación externa deben realizarse, según lo prescribe la cláusula citada, en el marco de los objetivos definidos por cada institución. Y agregaba que éstos, por lo general, se encuentran explicitados en los fines y funciones establecidos en los estatutos de las universidades nacionales y en los proyectos fundacionales de las universidades privadas, además de los propósitos y metas contenidos en planes de desarrollo, memorias anuales, políticas y reglamentaciones aprobadas por sus órganos de gobierno. Esta definición sitúa el contexto de la evaluación y resalta con nitidez lo inadecuado de las metodologías de los rankings, que son una evaluación institucional abstracta con indicadores genéricos que prescinden de las características específicas de las instituciones universitarias y del accionar definido por sus objetivos institucionales. Y explicitaba:

“En cuanto a la autoevaluación resulta imprescindible señalar que su ejecución es de responsabilidad exclusiva de las instituciones universitarias en el marco de las normas reseñadas. Esto surge del carácter autónomo y autárquico de las universidades nacionales y provinciales, según lo establecen los artículos 75 inciso 19 de la Constitución Nacional y 48/61 y 69 de la ley 24.521; y la personería jurídica de las privadas, reconocida y reglamentada por los artículos 62 a 68 inclusive del mismo ordenamiento legal. El marco antedicho, exponente de una vigorosa tradición argentina, exige a la Comisión Nacional de Evaluación y Acreditación Universitaria un cuidadoso respeto hacia el proceso de autoevaluación encarado por los establecimientos. La CONEAU entiende que no es atribución suya la imposición de modelos ni metodologías en la materia”.

La riqueza del principio de autoevaluación de las universidades que planteaba la CONEAU, y que se llevó adelante en los procesos de evaluación institucional de muchas universidades de gestión estatal y privada del país, debe ser rescatada para contrastarla con la pobreza informativa en que se basan las metodologías de los rankings, tanto en materia de los escasos indicadores utilizados como de las fuentes de información. Había una excelente guía para que las evaluaciones institucionales tuvieran alto impacto en la mejora de la calidad de las instituciones universitarias, ya que se aplicaban las mejores tradiciones internacionales de evaluación. En la medida, además, en que la evaluación externa realizada por pares evaluadores de alta calidad ayudara a profundizar en la detección de los problemas que obstaculizaban un mejor desarrollo institucional y a precisar objetivos de mejora que pudieran ser internalizados por los académicos y las autoridades universitarias.

6.3. El debilitamiento de las evaluaciones institucionales, los procesos de acreditación y los sesgos en la evaluación de la función de investigación

Las condiciones políticas en que se impulsó la instalación de la CONEAU y de las funciones de evaluación y acreditación fueron extremadamente complejas. De hecho, la UBA, la mayor universidad del país, se resistió durante años a participar en estos procesos y aún hoy algunas comunidades académicas ponen trabas a estas actividades. En ese contexto, las acreditaciones de posgrados, primero, y de grado (carreras del artículo 43 de la Ley de Educación Superior), después, adquirieron creciente relevancia por las consecuencias punitivas previstas para el funcionamiento de estas carreras. Ello hizo que las universidades dieran prioridad a estas actividades en detrimento de las evaluaciones institucionales, dada la falta de consecuencias de una evaluación negativa.

Por otra parte, al no haber un uso del Estado de los resultados de las evaluaciones institucionales para el diseño y el desarrollo de políticas sectoriales, ni para la distribución presupuestaria, ni para gestionar el funcionamiento del sistema universitario, no se asentó socialmente la importancia de los dictámenes de evaluación de las universidades, que en otros países tienen alto impacto social y consecuencias en la gestión estatal. Este vacío de legitimidad externa de estos procesos ha dejado un espacio crecientemente aprovechado por la difusión mediática de los rankings internacionales.

Los procesos de acreditación han tenido gran impacto y determinado cambios significativos en las instituciones universitarias. Dadas las consecuencias institucionales que determinaban la posibilidad de funcionamiento de los posgrados o que ponían en riesgo las carreras de grado alcanzadas, las instituciones y las comunidades académicas prestaron particular atención a esta problemática. Adquirió gran relevancia el rol de la función de investigación en las universidades. Ello tuvo que ver con los sistemas preexistentes de evaluación de los investigadores dentro del CONICET. El prestigio en esta área de la institución y de sus investigadores determinó que, al conformarse los listados de los Comités de Pares en la CONEAU, una gran parte de ellos fueron escogidos en todas las disciplinas entre personal científico del CONICET. Estos investigadores trasladaron a las comisiones asesoras de la CONEAU su visión sobre la calidad en materia de investigación.

El primer problema asociado a lo anterior fue que la práctica de evaluación en el CONICET era sobre los becarios e investigadores de carrera, mientras que en el caso de la CONEAU no se trataba de juzgar la actividad de determinadas personas, sino procesos integrales que permitieran obtener calidad en materia de formación educativa, tanto en carreras de grado como de posgrado. En ese sentido, la función de investigación debía aparecer subordinada a este objetivo superior. Esta confusión fue generada desde la propia CONEAU, donde los formularios de acreditación demandan acciones de investigación en el sentido tradicional, al tiempo que se pedían acciones en este terreno a los posgrados, como si se tratara de entidades autónomas y no de espacios educativos formativos que pueden -a través de la docencia- integrar conocimientos de investigación generados en distintas entidades, en muchos casos diferentes de aquella donde se desarrolla la actividad. Esto se agravó en el caso de los posgrados profesionales.

El segundo problema fue que, en la transmisión de los criterios del CONICET para la evaluación de la investigación, se encuentra, por su historia institucional, una fuerte dominancia de las tradiciones que se han ido construyendo en el área de las ciencias básicas, tradiciones que corresponden a un sistema internacional homogéneo en este aspecto y definido por el desarrollo disciplinar llevado adelante en los países desarrollados. La física, la química, las matemáticas y la biología desarrollan procesos de conocimiento en materia de investigación de carácter universal, y así son evaluadas. Diferente es el caso de las disciplinas asociadas al estudio de las realidades locales desde las ciencias sociales y las humanidades, como aquellas vinculadas con áreas aplicadas como las ingenierías, la arquitectura y otras.

Sin embargo, la dominancia de los criterios de las ciencias básicas, con el modelo dominante de papers publicados en revistas de referato internacional, subordinó a los otros procesos. ¿A qué se debió ello? En primer lugar a las características del desarrollo científico local. Argentina, al igual que la mayor parte de los países de menor desarrollo, destina el peso esencial de sus recursos (particularmente estatales) al financiamiento de las ciencias básicas, exactamente al revés de los países de mayor desarrollo económico y científico, donde el peso esencial de la inversión se realiza en el desarrollo experimental y en las tecnologías aplicadas. Esto tiene que ver, a su vez, con el gran peso en los países desarrollados de la inversión de las empresas privadas, que es particularmente débil en Argentina. Esta situación de fondo, más el peso de la formación del CONICET a fines de la década de 1950, determinó que las corporaciones de las ciencias básicas capturaron el grueso de los recursos estatales a través del control de esta institución, pero también de la Secretaría de Ciencia y Tecnología devenida recientemente en Ministerio. Es tan notable el peso de esta dominancia que ha llevado a conflictos relevantes, dado que los investigadores del CONICET asentados en las instituciones del sistema científico (el INTA, el INTI y la CONEA, entre otros) que llevan adelante importantes proyectos de desarrollo aplicado son evaluados negativamente en el CONICET por no ajustarse al esquema tradicional de la publicación de papers, lo que demuestra que el sistema de evaluación se ha vuelto profundamente no funcional a las necesidades de desarrollo del país.

Esta deformación del sistema de evaluación se convirtió en una traba para el funcionamiento de las instituciones de ciencia y tecnología en Argentina. Frente a ello el Ministerio de Ciencia y Tecnología realizó el 8 de septiembre de 2011 un taller cuyas conclusiones centrales fueron:

• la no pertinencia de aplicar criterios de evaluación del personal dedicado a la investigación básica al personal dedicado a la investigación aplicada y al desarrollo tecnológico y social;

• la diferencia existente entre las distintas disciplinas y la forma en que cada una evalúa a su personal;

• la dualidad entre la evaluación de trayectorias individuales y trayectorias colectivas;

• y la distancia entre criterios de calidad académica y criterios de relevancia y pertinencia organizacional.

En 2012 se dicta la Resolución MINCYT No 007/12, que crea la Comisión Asesora sobre Evaluación del Personal Científico y Tecnológico. La resolución realiza el siguiente diagnóstico:

“i. La dualidad institucional que suponen aquellos casos en los que los investigadores son financiados por CONICET pero su lugar de trabajo es otro de los organismos de ciencia y tecnología o las universidades. Esta situación genera, en algunos casos, una duplicación en la evaluación y una contradicción en los requerimientos de las distintas instituciones.

ii. La Carrera del Investigador Científico establecida por el CONICET ha contribuido a la estabilidad y el prestigio del sistema científico. Sin embargo, se resalta que esto ha tenido como consecuencia la adopción de sus instrumentos de evaluación por parte de otras instituciones que no están necesariamente guiadas por los mismos objetivos.

iii. Respecto al sistema de evaluación actual, se observa la preeminencia de indicadores que consideran a los investigadores en su trayectoria individual fundamentalmente a partir de su producción bibliométrica y la insuficiente utilización de criterios que consideren también su inserción y desempeño en equipos de trabajo. Un cambio en esta modalidad permitiría evaluar mejor los aportes que los investigadores hacen a la misión específica de las instituciones en las que se desempeñan”.

Este giro copernicano en los criterios de evaluación del personal científico tiene pendiente otros debates, que también involucran afectar decisiones institucionales del sistema científico institucional argentino. Uno es el de extender explícitamente estos criterios desarrollados para las ciencias aplicadas a la evaluación de las ciencias sociales y humanidades. Otro cambio profundo es el de la evaluación de los títulos académicos, particularmente la absolutización de los doctorados como sinónimo de calidad máxima en todas las disciplinas, haciendo abstracción de sus tradiciones que difieren en las distintas ramas del conocimiento. Absolutización que determinó la adjudicación plena del financiamiento de las actividades de posgrado por parte del Ministerio, generando un desarrollo artificial de estas actividades en disciplinas sin esta tradición y desprotegiendo a las otras modalidades de formación académica y profesional.

Síntesis

Los rankings de las universidades tienen sus antecedentes en los procesos de evaluación y acreditación de las universidades que nacieron en los Estados Unidos a fines del siglo XIX. Allí, frente a la proliferación de instituciones a lo largo del país, surgió la necesidad de certificar la calidad de las instituciones, sobre todo en áreas críticas como la medicina. No sucedió lo mismo en Europa y en América Latina, donde bastó el nombre de las grandes universidades como sello de calidad, pero la masificación de los procesos de enseñanza superior desde la década de 1960 fue impulsando también aquí medidas de control estatal sobre la calidad de las actividades y de las instituciones.

Paralelamente las comunidades académicas generaban mecanismos de difusión de sus actividades científicas: se fue imponiendo el sistema de revistas con referato, que garantizaba controles de calidad y era fácilmente sistematizable y comparable, a través de indicadores indirectos como los índices de impacto. Esta posibilidad de las revistas de ser comparables desplazó a los libros, originalmente las expresiones máximas de referencia de calidad.

Un paso posterior, iniciado también en Estados Unidos y replicado luego en otros países, fue pasar de la evaluación de programas e instituciones o de artículos científicos por pares académicos a comparaciones interinstitucionales (rankings). Y aquí comienza un largo, complejo y muchas veces caótico proceso de medición en base a indicadores. Cada emprendimiento metodológico incluyó diferentes perfiles de indicadores, algunos objetivos y directamente medibles: recursos docentes y financieros, presencia de docentes y estudiantes extranjeros, visibilidad de la institución en el sistema de internet, volumen y calidad de la producción científica.

En la medida que se hacían dentro del mismo país y disciplina, las comparaciones eran controlables, e incluso cuando se incorporaron criterios subjetivos a través de encuestas de opinión entre los académicos se suponía que los niveles de conocimiento directo podían mitigar la dificultad de registrar apropiadamente las fortalezas y debilidades de las instituciones universitarias. Ya aparecían dificultades en los sistemas vinculados a la producción científica a través de las revistas con referato, y bastante literatura crítica ha circulado sobre las dificultades de este sistema de evaluación y sobre la forma de generar los indicadores de impacto a través de la repercusión cuantitativa para clasificar la calidad de las revistas.

Pero esta problemática se iba a erosionar definitivamente en la medida en que, con mucha audacia, algunos centros académicos, periódicos y revistas pretendieron extender estas metodologías a escala planetaria, sobre las más de 22.000 universidades que, se estima, existen actualmente. Los primeros intentos construyeron clasificaciones estrictamente de la calidad de las investigaciones de las universidades. Nombres pomposos como el de Ranking Mundial de Universidades se limitaban simplemente a ordenar a las universidades en base a indicadores ligados a los procesos de investigación del más alto nivel (Premios Nobel y Medallas Fields, publicaciones en la revista Nature y Science, e indicadores registrados en el sistema de registro de publicaciones e impacto). Obviamente, a partir de este perfil de medición, las universidades llamadas “de investigación”, encabezadas por las norteamericanas y algunas europeas, fueron asimiladas en los primeros lugares bajo el concepto de “mejor”. Últimamente apareció también el concepto de “universidades de rango mundial” basadas en el reconocimiento internacional. Según los estudiosos de esta definición, son entre 30 y 50 universidades de ocho países de Estados Unidos, Europa y Japón. Según ha señalado Albatch (2004), “todo el mundo quiere una, nadie sabe lo que es y nadie sabe cómo obtenerla”. En realidad, el eje de estas instituciones es el alto nivel de sus investigaciones, lo que supone grandes recursos para ello.

El tema pasaría a complicarse aún más cuando, con ánimo estrictamente comercial, se construye el ranking de The Times primero, y luego de QS como un desprendimiento de esta iniciativa. En un intento de correrse parcialmente del universo estricto de las universidades de investigación, los técnicos de estas organizaciones asignaron un porcentaje decisivo de la puntuación a las evaluaciones subjetivas basadas en las opiniones de académicos y empleadores. El tema es que los académicos no podían tener una opinión razonable sobre el mundo de las universidades, de las cuales sólo conocen generalmente pequeñas partes asociadas a la disciplina que profesan o son repetidores de opiniones sobre las instituciones en base a la propaganda u otros mecanismos de difusión que las mismas realizan. Procesos similares a los de los empleadores, que tampoco pueden tener una visión integral del mundo de los egresados, sus capacidades adquiridas y sus inserciones laborales. Por ello estas dimensiones son en estas instituciones un secreto de Estado, porque de revelarse se advertiría la fragilidad de esta información. De hecho, en QS las universidades evaluadas pueden sugerir los nombres de los académicos no ligados a ellas y de los responsables de recursos humanos de las empresas que pueden ser consultados, y dependerá de la cantidad de personas que consigan el subir en indicadores que determinan nada menos que el 50% del puntaje total.

Hemos mostrado la debilidad con que se miden indicadores como la calidad de la enseñanza. Es imposible para estas consultoras recabar una masa exhaustiva de información de cada institución y entonces necesitan apelar a indicadores extremadamente simples. Los porcentajes asignados a cada indicador son absolutamente arbitrarios e ignoran el eje central de cada proyecto institucional, que no puede definirse en términos internacionales porque depende de la especificidad de cada universidad. Y todo esto se complica más al dar ingreso a las universidades de gran tamaño, cuyo entramado de disciplinas y carreras no puede ser alegremente agregado para un promedio numérico general.

Los poderosos intereses comerciales presentes en estos sistemas de evaluación y en el control de las revistas con referato y sus impactos enturbian desde otro ángulo los problemas generados en las fangosas aguas de la evaluación institucional comparada.

Las variaciones del peso de los indicadores que estas tablas han registrado en estos años, los cambios en la composición de los evaluadores sin un control razonable de su representatividad y los sesgos hacia el perfil deseado de las universidades en base a un “determinado tipo ideal universal” han provocado una reacción muy fuerte por parte de las comunidades académicas afectadas por el rebote provocado por los medios de difusión masivos, que utilizan estos indicadores en forma superficial y que ignoran la fragilidad de su construcción. Fueron primero los europeos los que rechazaron el criterio mismo de clasificar en tablas a las universidades y crearon sistemas de información alternativos como el CHE en Alemania. La comunidad académica rusa, con tradiciones propias en materia de desarrollo académico y científico, generó sus propios indicadores. Y finalmente la creación del MESALC en América Latina completó un frente institucional que se moviliza en una dirección opuesta a la generada por el sistema de rankings.

En este contexto, en la Argentina, los procesos de evaluación introducidos sistémicamente por la Ley de Educación Superior en 1995 abrieron un frente de análisis mucho más interesante y productivo para mejorar la calidad universitaria, que debería ser siempre el objetivo de estos procesos. Al mismo tiempo, se asiste actualmente a una revisión institucional impulsada por el Ministerio de Ciencia y Tecnología de los conceptos esenciales de la evaluación de la función de investigación y de los investigadores, a partir de la crisis desatada por el mantenimiento rígido de los criterios implantados desde el CONICET por las ciencias básicas y naturales. En este contexto, que incluye también la necesaria revisión de las políticas de apoyo a los diferentes tipos de posgrados de acuerdo a la importancia relativa en las distintas disciplinas, es relevante fortalecer los procesos de evaluación institucional con la riqueza con que se habían iniciado originalmente en la CONEAU y ajustar las políticas de premios y castigos hacia el sistema universitario para ayudar al mejoramiento integral de las instituciones universitarias, en los múltiples frentes de actividades que se definen a partir de sus ejes disciplinarios, sus ubicaciones regionales y las demandas específicas que plantea la actual etapa del desarrollo nacional. Temas que no pueden ser subsumidos en la parcialización y el ordenamiento arbitrario de indicadores internacionales de gran pobreza conceptual y que sólo distraen a las comunidades universitarias de sus objetivos más trascendentes.

Para satisfacer la lógica demanda de los usuarios de diverso tipo sobre la calidad de las universidades, el sistema universitario argentino y sus instituciones deben mejorar sensiblemente la información construida desde la Secretaría de Políticas Universitarias, debilitada profundamente entre 2004 y 2015. Las estadísticas universitarias deberían servir de base a estudios sobre el sistema universitario argentino, que por cierto se han interrumpido desde la esfera estatal y no existen en la comunidad académica aportes suficientes al respecto. Las instituciones universitarias deberían sofisticar, a través de sus académicos y de sus páginas web, la información sobre la oferta, los recursos humanos y de otro tipo disponibles, la producción académica y toda otra información útil para los usuarios. Así como en 1995 se inició un proceso de construcción de una cultura de la evaluación que debe ser retomado y profundizado, en la actual etapa hay que construir una cultura de la información para enfrentar adecuadamente la demanda de calidad universitaria, aspecto sobre el que se apoyan los rankings para impactar mediáticamente a la sociedad e incluso a las propias comunidades académicas.

Objetar por su pobreza conceptual la construcción mediática de los rankings no significa dejar de dar alta importancia a los procesos de evaluación ni ignorar los mecanismos que nacional e internacionalmente se han construido para difundir la producción científica. De lo que se trata es de respetar las fronteras de dichas evaluaciones de acuerdo con las tradiciones disciplinarias y las formas en que se genera y profundiza el conocimiento en las ciencias aplicadas y sociales, así como con las particularidades con que se ha construido históricamente el proceso de formación de grado y posgrado en las distintas carreras, profesiones y disciplinas que agrupan estas complejas instituciones que son las universidades.

Notas

1. Fuente: Ministerio de Educación y Ciencia de la Federación Rusa.

2. Usher y Savino (2006a) han realizado un estudio metodológico de imprescindible consulta, donde se comparan 19 rankings mundiales, regionales y nacionales.

3. Una crítica integral a esta problemática ha sido desarrollada en Barsky (2014b).

Bibliografía

1 ALBORNOZ. (2007): “Los problemas de la ciencia y el poder”, Revista Iberoamericana de Ciencia, Tecnología y Sociedad -CTS, vol. 3, n° 8, pp. 47-65.         [ Links ]

2 ALTBACH, P (2004): “The Costs and Benefits of World-Class Universities”, Academe, vol. 90, n° 1. Disponible en: http://www.aaup.org/AAUP/pubsres/academe/2004/JF/Feat/altb.htm.         [ Links ]

3 ALTBACH, P. (2006): “The Dilemmas of Rankings”, International Higher Education n° 42.         [ Links ]

4 BARSKY, O. (2012): “Acerca de los rankings internacionales de las universidades y su repercusión en Argentina”, Debate Universitario, vol 1, n° 1, pp. 35-83.         [ Links ]

5 BARSKY, O. (2014a): “La evaluación de la ciencia, la crisis del sistema internacional de revistas científicas y propuestas de políticas”, Seminario Iberoamericano de Ciencia, Tecnología, Universidad y Sociedad, OCTS-OEI y Consejo Interuniversitario Nacional, Buenos Aires, 26-28 de mayo.         [ Links ]

6 BARSKY, O. (2014b): La evaluación de la calidad académica en debate, Volumen I.  Los rankings internacionales de las universidades y el rol de las revistas científicas, Buenos Aires, UAI-Teseo.         [ Links ]

7 BATY, P. (2010): “The unveils broad, rigourous new rankings methodology”, Times Higher Education. Disponible en: http://www.timeshighereducation.co.uk/story.asp?sectioncode=26&storycode=411907&c=1.  Consultado el 12 de enero de 2011.         [ Links ]

8 BRUNNER, J. J. (2012): “La idea de Universidad en tiempos de masificación”, Universia, vol. 3, n° 7. Disponible en: http://ries.universia.net.         [ Links ]

9 CAÑEDO ANDALIA, R., NODARSE RODRÍGUEZ, M., RAMOS OCHOA, R. E. y GUERRERO PUPO, J. C. (2005): “Algunas precisiones necesarias en torno al uso del factor de impacto como herramienta de evaluación científica”, Acimed, vol. 13, n° 5. Disponible en: http://bvs.sld.cu/revistas/aci/vol13_5_05/aci01505.htm.         [ Links ]

10 CAWKEL, T. y GARFIELD, E. (2001): “Institute for Scientific Information”, en E. H.Fredriksson (ed.): A Century of Science Publishing. A Collection of Essays, Amsterdam, IOS Press.         [ Links ]

11 CENTER FOR HIGHER EDUCATION DEVELOPMENT (2010): “Methodology”, Die Zeit.         [ Links ]

12 CORTES VARGAS, D. (2007): “Medir la producción científica de los investigadores universitarios: la bibliometría y sus límites”, Revista de la Educación Superior, vol. 46, n° 142, pp. 43-65.         [ Links ]

13 GARCÍA DELGADO, J. C., ALONSO, J. A. y JIMÉNEZ, J. C. (2013): El español, lengua de comunicación científica, Barcelona, Ariel.         [ Links ]

14 GOLDSTEIN, H y D. J. SPIEGELHALTER (1996): “League tables and their limitations: statistical issues in comparisons of institutional performance”, Journal of the Royal Statistical Society, vol. 159, pp. 385-443.         [ Links ]

15 HARVEY, L. (1999): “Quality in higher education”, Swedish Quality Conference, Göteborg, University of Central England in Birmingham.         [ Links ]

16  HAZELKORN, E. (2015): Rankings and the Reshaping of Higher Education. The Battle ford World-Class Excellence, Londres, Palgrave Macmillan.         [ Links ]

17  IREG (2006): “Berlin Principles on Ranking of Higher Education Institutions, IREG’s 2nd meeting in Berlin, 18-20 May, 2006”, Journal of Patent Office Society, vol. 39, pp. 583-595.         [ Links ]

18  LEMAITRE, M. J. (2009): “Nuevos enfoques sobre aseguramiento de la calidad en un contexto de cambios”, Revista Calidad en Educación, no 31, Santiago de Chile, Consejo Nacional de Educación.         [ Links ]

19  LIU, N. C. y CHENG, Y. (2005): “Academic Ranking of World Universities. Methodologies and problems”, Higher Education in Europe, vol. 30, n° 2,         [ Links ]

20 MARCOS, M. C. (1988): “Elsevier Science: editorial y servicio de información”, El profesional de la información.         [ Links ]

21 MARTÍNEZ RIZO, F. (2011): “Los rankings de universidades: una visión crítica”, Revista de la Educación Superior, vol. 40, no 157.         [ Links ]

22 MENDOZA, S. y PARAVIC, T. (2006): “Origen, clasificación y desafíos de las revistas científicas”, Investigación y posgrado, vol. 21, n° 1.         [ Links ]

23 NICHOLLS, J (1992): “Academic development and quality control”, Seminario “Los cambios en la educación Superior”, Montevideo.         [ Links ]

24 OPPENHEIMER, A. (2010): “¡Basta de historias!. La obsesión latinoamericana con el pasado y las 12 claves del futuro”, Buenos Aires, Sudamericana.         [ Links ]

25 ORDORICA, I. y RODRÍGUEZ GÓMEZ, R (2010): “El ranking Times en el mercado del prestigio universitario”, Perfiles Educativos, vol. 32, no 129, pp. 8-25.         [ Links ]

26 ORDORICA, I. y RODRÍGUEZ GÓMEZ, R. et al. (2008): “Comentarios al Academic Ranking of World Universities 2008”, cuaderno de trabajo de la Dirección General de Evaluación Institucional, no 2, México DF, UNAM-DGEI.         [ Links ]

27 ORTIZ, R. (2009): La supremacía del inglés en las ciencias sociales, Buenos Aires, Siglo XXI.         [ Links ]

28 PÉREZ RASETTI, C. (2011): Construcción de indicadores para el sistema de Educación Superior de Iberoamérica/América Latina y el Caribe. Reflexiones para una propuesta, OEI-CAECID.         [ Links ]

29 PÉREZ-ESPARRELS C. y LÓPEZ GARCÍA, A. (2009): “Los rankings de las instituciones de educación superior: una revisión del panorama internacional”, Calidad en la Educación, n° 30, Santiago de Chile, Consejo Nacional de Educación.         [ Links ]

30 PIQUERAS, M. (2001): “Peer review, ¿el talón de Aquiles de la publicación científica?”, Biomedia. Disponible en: http//www.biomeds.net/biomedia/d010110001.htm.         [ Links ]

31 PISCOYA HERMOZA, L. (2006): “Ranking universitario en el Perú”, Lima, Asamblea Nacional de Rectores.         [ Links ]

32 QS UNIVERSITY RANKINGS (2012): “Latin America”. Disponible en: www.qs.com.         [ Links ]

33 RAUHVARGERS, A. (2011): “Global university rankings and their impact”, Bruselas, European University Association.         [ Links ]

34 RIVERA, E. (2012): “Razones, defectos y límites de los rankings”. Disponible en: www.campusmilenio.com.mx.         [ Links ]

35 ROUSSOS, A. (2014): “Cambio de paradigma en las comunicaciones científicas en Psicología”, Revista Debate Universitario, vol.2, n° 4, pp. 44-64. Disponible en: htpp:/ppct.caicyt.gov.ar/index.php/debate-universitario/article/view/4758/pdf.         [ Links ] 

36 SALMI, J. y SAROYAN, A. (2007): “League tables as policy instruments: Use and misuses”, Higher Education Management and Policies, vol. 19, n° 2, pp. 31-68.         [ Links ]

37 SALMI, J. (2009): “El desafío de crear universidades de rango mundial”, Washington DC, Banco Mundial.         [ Links ]

38 SCHWARTZMAN, S. (2010): “O Impacto dos rankings nas instituicoes de ensino”, VIII Congreso Brasileiro de Gestao Educacional, San Pablo.         [ Links ]

39 STELLA, A. y WOODHOUSE, D. (2006): “Ranking of Higher Education Institutions”, AUQUA Ocassional Publications n° 6, Australian Universities Quality Agency.         [ Links ]

40 USHER, A. y SAVINO M. (2006a): “A world of difference. A global survey of university league tables”, Toronto, Educational Policy Institute.         [ Links ]

41 USHER, A. y SAVINO, M. (2006b): “Estudio global de los rankings universitarios”, Calidad en la educación, no 25, Santiago de Chile, Consejo Nacional de Educación.         [ Links ]

42 VAN RAAN, A. (2005): “Fatal attraction: Conceptual and methodological problems in the ranking of universities by bibliometric methods”, Scientometrics, no1, pp. 133-143.         [ Links ]

43 WOUTERS, P. (1999): “The Citation Culture”, tesis doctoral, University of Amsterdam . Disponible en: http:/ranking.Zeit.de/che2010/en/ueberdasranking/methodic. Consultado el 17 de agosto de 2010.         [ Links ]

44 WILLIAMS, R. (2008): “Methodology, meaning, and usefulness of rankings”, Australian Universities’ Review, vol. 50, n° 2, pp. 51-58.         [ Links ]

Cómo citar este artículo

BARSKY, O. (2018): “La inconsistencia de los rankings internacionales de las universidades y la debilidad del debate académico en Argentina”, Revista Iberoamericana de Ciencia, tecnología y Sociedad -CTS, vol. 13, n° 37, pp. 153-187.