Indice-h de Universidades chilenas líderes en investigación y su relación con rankings basados en la percepción de su prestigio

Hirsch´s index of  research leader chilean universities and its relationship to rankings based on the perception of  its prestige

Jaime R. Rau

Laboratorio de Ecología, Departamento de Ciencias Básicas & Programa de Educación e Investigación Biológica y Ambiental (Programa IBAM), Universidad de Los Lagos, Campus Osorno, Casilla 933, Osorno, Chile. Correo electrónico: jrau@ulagos.cl

Resumen: El índice-h de Hirsch es un nuevo indicador bibliométrico que ha sido considerado útil para evaluar la productividad científica de investigadores individuales y revistas científicas. En este trabajo lo empleo para evaluar la productividad de las 15 universidades que actualmente son líderes de investigación en Chile. Puesto que en este último país los rankings públicos de percepción del prestigio de las universidades comienzan a ser comunes relaciono el índice-h con un par de rankings basados en la opinión que de ellas tienen tanto sus potenciales estudiantes y empleadores de sus profesionales titulados. Encontré que ambos rankings se relacionaron y lo mismo ocurrió cuando se asociaron con el índice-h. Esta asociación fue mayor para el ranking basado en la percepción de los estudiantes.

Palabras clave: Bibliometría; Chile; Índice de Hirsch; Web of Science.

Abstract: The Hirsch´s h-index is a new bibliometric indicator that has been considered useful to evaluate the scientific productivity of individual researchers and scientific journals. This paper  uses it to evaluate the productivity of the 15 research  universities of Chile. Since in Chile public rankings of perception of their universities are begining to be common, the article relates the h-index with a pair of rankings based on the prestige that the potential employers and students of the last level of secondary education have of them. I found that both rankings of perception were related and the same happened when they were associated to the h-index of Hirsch. The association was greater for the ranking based on the perception by potential students at those universities.

Keywords: Bibliometrics; Chile; Hirsch´s index; Web of Science.

Artículo recibido: 05-02-08.
Aceptado: 14-05-08

Introducción

Recientemente, el físico argentino de la Universidad de California (Campus San Diego), Jorge E. Hirsch, publicó su índice h (accesible también en línea en http://arxiv.org/PS_cache/physics/pdf/0508/0508025v5.pdf ) el cual fue propuesto como una medida para evaluar a los científicos, considerando de una manera particular tanto a los artículos publicados como a las citas recibidas por su propia producción escrita (Hirsch, 2005). Es decir, que este es un índice bibliométrico que hace equivalente pocos artículos publicados pero que han sido muy citados y muchos artículos publicados pero que han sido escasamente citados. Integra en un único valor tanto a la productividad científica (i.e., número de artículos publicados) como a su visibilidad o impacto (i.e., número de citas recibidas). Este índice ha sido recibido con entusiasmo por la comunidad científica (Ball, 2005; Bornmann y Daniel, 2005; Braun, Glänzey y Schubert, 2005; Chapron y Husté, 2006; van Raan, 2006; Imperial y Rodríguez-Navarro, 2007). De hecho, pese a su muy reciente proposición ya se ha efectuado una revisión bibliográfica (Bornmann y Daniel, 2007) sobre el mismo. En el momento de escribir este trabajo (agosto de 2007), una búsqueda en el Web of Science, WOS (http://isiknowledge.com) arrojó una veintena de artículos con la palabra índice-h señalada explícitamente en sus títulos.
Aunque el índice fue diseñado como una manera particular de evaluar a los científicos al final de su carrera profesional (Hirsch, 2005), también puede utilizárselo para medir el impacto de las propias revistas especializadas donde estos investigadores publican los resultados de sus investigaciones. Esto último ya se ha hecho y para distintas ventanas discretas de tiempo: anual (Braun, Glänzey y Schubert, 2005), quinquenal (Chapron y Husté, 2006; Rau, 2007a), etc.
 En este trabajo lo aplico además para medir el impacto de las universidades chilenas que son consideradas líderes en investigación por dos rankings de la percepción que tienen de ellas los que serán sus potenciales estudiantes y sus potenciales empleadores una vez titulados. Junto a Brasil, México, Argentina y Venezuela, Chile es uno de los países que más publica artículos indexados por la base de datos del ISI en Latinoamérica (Macilwain, 1999) y el valor promedio de los factores de impacto de sus revistas científicas también indexadas por esa base de datos es sólo ligeramente superado por México (Téllez-Zenteno, Morales-Buenrostro y Estañol, 2007). De esta manera, mi análisis -aunque local- puede llegar a tener un interés más amplio que en el caso de un solo país y facilitar de esta manera comparaciones futuras entre distintos países. Elegí a las universidades porque es en estas instituciones donde se genera el 90% de los artículos indexados por el ISI que son publicados por autores que firman sus trabajos con dirección en Chile (Inestroza, 2005).
Así, según mi adaptación para este caso particular, el índice h de Hirsch puede ser definido para una universidad o grupo de investigadores (Rau, 2007b) de la manera siguiente: «una universidad tendrá un índice h  característico si sus científicos han publicado h trabajos que han recibido h citas cada uno, dentro del período de tiempo que se analiza». De esta manera, el índice h será siempre una cantidad menor o igual que el número total de artículos en que está basado (Braun, Glänzey y Schubert, 2005; Hirsch, 2005; Bornmann y Daniel, 2007). Por otra parte, un índice h = 0 significa que los artículos publicados todavía no han recibido citas y, por lo tanto, que no han tenido visibilidad (Bornmann y Daniel, 2007). Este nuevo índice asume el número de artículos y citas por autor y propone que este crece linealmente en el tiempo (Hirsch, 2005; Cronin y Meho, 2006).

Metodología

Desde comienzos de este nuevo siglo han comenzado a publicarse en Chile rankings de percepción que evalúan la opinión pública que distintos usuarios (i.e., sus estudiantes, empleadores de los profesionales por ellas titulados) tienen de sus universidades. Es así que en la actualidad (i.e., rankings del año 2006 publicados en el año 2007) el ranking universitario de prestigio de la revista Qué Pasa comenzó a publicarse desde  el año 2000 y en 2007 se ha publicado su 7ª edición mientras que el ranking universitario de investigación  y prestigio de la revista El Sábado del diario El Mercurio se viene publicando desde el año 2004 y ya se encuentra en su tercera edición.
El primero de ellos se basó en encuestas telefónicas, aplicando un cuestionario estructurado. La muestra general estuvo conformada por altos cargos del sector público como privado que participan directa o indirectamente en la decisión de contratación de profesionales y se aplicó a 1.000 casos. Este agrupó a las universidades en tres categorías:  aquellas que fueron consideradas las más prestigiosas, de nivel intermedio y las que tienen menos prestigio (http://www.ucentral.cl/originales/encuesta_time_research.pdf ).
El segundo de ellos ponderó diferenciadamente a publicaciones indexadas en el WOS, en SciELO (Packer, 2002) y también a proyectos de investigación competitivos financiados por concurso público (http://www.fondecyt.cl). Para mis análisis de un universo total de N = 55 (revista El Sábado del diario El Mercurio) y N = 59 (revista Qué Pasa) elegí solo a una muestra conformada por las n = 15 primeras universidades que figuraron como líderes de investigación en Chile. A su vez, el prestigio de estas universidades se estimó mediante entrevistas cara a cara para 432 casos de estudiantes de colegios municipales, particulares subvencionados y particulares pagados en 23 comunas de la Región Metropolitana, Santiago, Chile (http://www.emol.com/especiales/infografias/ranking_universidad/index.htm). De esta manera, resulta posible averiguar si la percepción que tienen del prestigio de las universidades chilenas sus potenciales estudiantes (i.e., estudiantes de enseñanza secundaria) y sus potenciales empleadores (i.e., empresarios) es similar o diferente.
Por otra parte, tanto el ranking de investigación y los dos de percepción pueden relacionarse entre sí y con el índice-h. Para las instituciones universitarias y de investigación suscriptas a una versión en línea del WOS este índice puede obtenerse rápida y fácilmente. Para obtener los de esas 15 universidades durante el periodo 1998-2007 utilicé los comandos General Search, Address y Citation Report (ver Pincheira-Ulbrich, 2005 para un uso similar de comandos). Empleé las abreviaturas que el propio WOS utiliza para esas universidades (ver Tablas 1 y 2) y dos de los cuatro operadores boleanos: NOT para excluir términos sinónimos (e. g., Univ. Los Lagos NOT Ctr. Univ. Los Lagos para excluir instituciones en México y Nigeria con igual nombre) y SAME para incluir términos equivalentes (e. g., Univ. Católica Valparaíso y Pontificia Univ. Católica Valparaíso, su actual nombre).

Tabla 1: Las 15 universidades (en negritas se indican las ocho tradicionales) líderes en investigación en Chile ordenadas en la primera columna de mayor a menor según su índice-h.  ¹Para un total de N = 55 universidades el puntaje fluctuó entre 44,0-90,5. Se utilizan para las universidades las abreviaturas del WOS.

Tabla 2: Las 15 universidades (en negritas se indican las ocho tradicionales) líderes en investigación en Chile ordenadas en la primera columna de mayor a menor según su índice-h (ver Tabla 1) y su puntaje promedio de notas (escala 1-7) según dos rankings: ¹uno basado en la percepción de su prestigio por estudiantes de enseñanza media que para N = 55 universidades fluctuó entre 6,73-3,68 y  ² otro basado en la percepción de su prestigio por empleadores potenciales que para N = 59 universidades fluctuó entre 6,47-3,99. Se utilizan para las universidades las abreviaturas del WOS.

Para evaluar el grado de asociación entre los datos correspondientes a las variables consideradas utilicé el coeficiente de correlación de rangos no paramétrico de Spearman, rs, con corrección de empates, y empleé un paquete estadístico en línea (http://faculty.vassar.edu/lowry/VassarStats.html). Utilicé el mismo paquete para confeccionar el gráfico de la Figura 1.

Figura 1: Distribución de frecuencias (Frec.) de un total de 15 universidades chilenas líderes en investigación por intervalos de clase de sus índices-h.

Resultados y Discusión

El índice-h de las 15 universidades chilenas líderes en investigación varió entre 7-72. Es decir, en más de un orden de magnitud. Como se desprende de la Tabla 1 y puede observarse más claramente en la figura 1, ocho de las 15 universidades tuvieron índices que variaron entre 10-20. Llama la atención la ausencia de universidades con índices entre 40-60 y solo la Universidad de Chile y la  Pontificia Universidad Católica de Chile (en ese orden) estuvieron en el rango de 60-80. De hecho, en el momento de escribir este trabajo solo la Universidad de Chile figuraba en el exigente ranking universitario mundial de la Shanghai Jiao Tong University (http://ed.sjtu.edu.cn/ranking.htm ) y su posición en él  ha variado entre el octavo y noveno decil para las ediciones 2003-2006. Solo con la excepción de tres universidades (Universidad de Valparaíso, Universidad de La Frontera y Universidad de Antofagasta, todas ex Sedes de la Universidad de Chile al igual que las que figuran después de la Universidad de Concepción, cf. Tabla 1) los índices- h más altos, así como los puntajes por publicaciones y proyectos de investigación provenientes de la revista El Sábado, los siguen manteniendo las ocho universidades más tradicionales de Chile (Tabla 1). Aun cuando el índice-h y el puntaje de investigación de la Universidad de Chile superan claramente a los de la Pontificia Universidad Católica de Chile, la brecha entre ambas disminuye notoriamente cuando solo se consideran los rankings basados en la percepción que de ellas tienen sus potenciales estudiantes y empleadores (Tabla 2).
La asociación entre el puntaje por proyectos y publicaciones y el índice-h (Tabla 1) fue estadísticamente significativa (rs = 0,558; p = 0,031; n = 15). De manera coincidente, los rankings basados en la percepción que del prestigio de las universidades chilenas tuvieron tanto sus potenciales estudiantes como sus empleadores (Tabla 2) se encontraron significativamente correlacionados entre sí (rs =  0,781; p = 0,001; n = 15). Aunque algunas universidades fueron clasificadas como de prestigio de nivel intermedio e incluso bajo, aun así la asociación entre el índice-h y el ranking basado en la percepción de prestigio de las universidades por parte de potenciales empleadores también fue positiva y estadísticamente significativa (rs = 0,751; p = 0,001; n = 15). Probablemente, incide en esta correlación la poca variación entre los valores máximos y mínimos de los puntajes de la escala en que fue calificada la percepción de prestigio de las universidades por los empleadores potenciales (cf. Tabla 2). A su vez, esta asociación  aumentó todavía más cuando se relacionó el mismo índice y el ranking basado en la percepción del prestigio de ellas por sus potenciales estudiantes (rs = 0,761; p = 0,001; n = 15). 
Ya que son pocas las universidades suscriptas a versiones en línea del WOS y, aunque esta es una forma rápida y fácil de obtener el índice-h -aunque  implica un cierto tecnicismo-, parece poco probable que en el futuro el uso del WOS se masifique en Latinoamérica de tal manera que los estudiantes decidan a partir de él en qué universidades estudiar y, a su vez, las empresas opten por qué profesionales universitarios titulados contratarán. Es esperable y predecible que los rankings de percepción del prestigio que la opinión pública tiene de sus instituciones de educación superior continúen perfeccionándose y empleándose masivamente. Dado el tamaño menor de muestra utilizado, y su alta correlación con el índice-h, al menos en Chile, los rankings basados en la percepción que del prestigio de sus universidades tienen los propios estudiantes, que postulan a los cupos ofrecidos por ellas, parecen ser los más apropiados para dirimir entre las diferentes alternativas académicas disponibles.

Conclusiones

El índice-h, adaptado para medir la productividad de universidades chilenas se asoció a rankings de percepción de su prestigio basados en opinión pública de sus potenciales estudiantes y empleadores. La relación fue mayor en el caso de la percepción estimada a partir de entrevistas aplicadas a estudiantes de enseñanza secundaria, información que tiene la ventaja de obtenerse a partir de un menor número de encuestados.

Agradecimientos

Lutz Bornmann, Guillaume Chapron, Alvaro Roldán-López y Macarena Rau Catalán colaboraron en diferentes etapas de este trabajo y aquí reconozco con gratitud su ayuda.

Referencias bibliográficas

1. Ball, P. 2005. Index aims for fair ranking of scientists. En Nature. Vol.436, 900.        [ Links ]

2. Bornmann, L. y H-D. Daniel. 2005. Does the h-index for ranking of scientists really work? En Scientometrics. Vol. 65, 391-392.        [ Links ]

3. Bornmann, L. y H-D. Daniel. 2007. What do we know about the h index? En Journal of the American Society for Information Science and Technology.Vol. 58, 1381-1385.        [ Links ]

4. Braun, T.; W. Glänzel y A. Schubert. 2005.  A Hirsch-type index for journals. En The Scientist.Vol. 19, 8.        [ Links ]

5. Chapron, G. y A. Husté. 2006. Open, fair, and free journal ranking for researchers. En Bioscience. Vol. 56, 558-559.        [ Links ]

6. Cronin, B. y L. Meho. 2006. Using the h-index to rank influential Information scientists. En Journal of the American Society for Information Science and Technology. Vol.57, 1275-1278.        [ Links ]

7. Hirsch, J. E. 2005. An index to quantify an individual´s scientific research output. En Proceedings of the National Academy of Sciences.Vol. 102, 16569-16572.        [ Links ]

8. Imperial, J. y A. Rodríguez-Navarro. 2007. Usefulness of Hirsch´s h-index to evaluate scientific research in Spain. En Scientometrics. Vol. 71, 271-282.        [ Links ]

9. Inestroza, N. C., coord. 2005. Publicaciones y patentes. Capítulo 4. En Ureta, T; J. Babul; S. Martínez y J. Allende, eds. Análisis y proyecciones de la ciencia chilena-2005. Santiago de Chile: Academia Chilena de Ciencias. p. 75-110. <http://www.academia-ciencias.cl/docs/noticias/estudio.pdf >.        [ Links ]

10. Macilwain, C. 1999. Stability offers unique opportunity for research. En Nature (Supplement). Vol.398: A4-A5. <http://origin.www.nature.com/nature/journal/v398/n6726supp/full/398004a0.html>.        [ Links ]

11. Packer, A. L.  2002. El SciELO para nuestras revistas científicas. En Interciencia. Vol. 27, 274.        [ Links ]

12. Pincheira-Ulbrich, J. M. 2005. Las 10 revistas de Ecología Forestal con mayor impacto según la base de datos del ISI: trienio 2002-2004. En Gestión Ambiental. Vol. 11, 81-88.        [ Links ]

13. Rau, J. R. 2007a. Índice-h de la Revista Chilena de Historia Natural: quinquenio 2000-2004. En Revista Chilena de Historia Natural. Vol. 80, 385-386.        [ Links ]

14. Rau, J. R. 2007b. Índice-h (2000-2004) de los científicos ambientales más citados que residen en Chile. En Revista Chilena de Historia Natural. Vol. 80, 381-383.        [ Links ]

15. Téllez-Zenteno, J. F.; L. E. Morales-Buenrostro y B. Estañol. 2007. Análisis del factor de impacto de las revistas científicas latinoamericanas. En Revista Médica de Chile. Vol. 135, 480-487.        [ Links ]

16. Van Raan, A. F. J. 2006. Comparison of the Hirsch-index with standard bibliometric indicators and with peer judgement for 147 Chemistry groups. En Scientometrics. Vol. 67, 491-502.        [ Links ]