ARTÍCULOS ORIGINALES

Otro índice para cuantificar la investigación científica y tecnológica de un individuo

Marcelo Pagnola¹

¹ Universidad de Buenos Aires. Consejo Nacional de Investigaciones Científicas y Técnicas (CONICET). Instituto de Tecnologías y Ciencias de la Ingeniería "Hilario Fernández Long" (INTECIN). Facultad de Ingeniería. Argentina.

mpagnola@fi.uba.ar

 

Resumen

El objetivo del presente trabajo es proponer una metodología para obtener un indice que cuantifique el trabajo cientifico y tecnologico de un investigador de acuerdo a un peso o importancia que surga de una evaluación de acuerdo a politicas cientificas y tecnologicas locales o áreas de responsabilidad del Sector Cientifico y Tecnologico. Este indice involucra proyectos, roles y esfuerzos individuales de investigadores en el Sistema Tecnologico. Este nuevo indice nace de la necesidad de ampliar el indice h propuesto por J.E. Hirsch, ya que este último solo evalúa las presentaciones de documentos editoriales y no el resto de la gestión y rendimiento tecnologico que no es considerado en su idea original. En este sentido, el presente trabajo propone un indice complementario.

Palabras clave: Nuevo índice; Metodología; Investigador; Sector científico tecnológico; Trabajo tecnológico

Abstract

The aim of this paper is to propose a methodology to obtain an index that quantifies the scientific and technological work of an investigator according to a weight or importance to give an assessment according to the local scientific and technological policies, or areas of responsibility of the Scientific Technology Sector. This index involves projects, roles, and individual efforts researcher's in the technological system to carry out their investigations. This new index born of a need to expand the J. E. Hirsch's h-index since the latter only evaluates presentations of papers and not the rest of the management and technological performance that it is not considered in his original idea. This limitation of the h-index makes it impossible to assess the full profile of a researcher. In this sense, this paper proposes a complementary index.

Keywords: New index; Methodology; Investigator; Technological science sector; Technological work

 

1. Introducción

El avance tecnologico hace que los cientificos vean cada vez mas la necesidad de confluir en una metodologia universalizada que de alguna manera cuantifique la producción cientifica. Es sabido que desde el año 2005, se ha popularizado en distintas áreas de la ciencia y la tecnología la aplicación de parámetros e indices que ayudan a evaluar la producción individual de manera acorde a cada rama de investigación. El más popularizado es el propuesto por J. E. Hirsch Department of Physics, University of California at San Diego, el cual prupuso el índice h fácilmente computable, que da una estimación de la importancia, significado y amplio impacto de las contribuciones de investigación acumulada de un científico [1]. Pero este indice, nada dice del rol que juega el investigador en relación a las politicas locales y a los mecanismos de gestión de sus investigaciones, y de las auditorias internacionales/locales que posee en sus investigaciones. A su vez, el citado indice de Hirsch plantea una generalización parcial en su aplicación a cientificos relacionados al sector tecnologico ligados a la ciencia aplicada que solo muestra una faceta incompleta del investigador evaluado, estableciendo una métrica sobre un número de trabajos y citaciones que posean determinadas obras publicadas por éste. Es decir, este indice h es el número aplicado a un investigador que tiene h trabajos, que han sido citados al menos h veces. Un Índice h = X significa que hay X artículos con X o más citas, pero no X+ 1 que tengan X + 1 o más citas [2], dejando de lado, por ejemplo,  el número de auditorias internacionales aprobadas en proyectos; la presentación de informes y su aprobación, la incorporación del sector productivo a sus investigaciones, etc.  Aspectos estos, que no juegan su rol justo cuando lo deberían hacer, sobre todo cuando distintos investigadores compiten por un recurso limitado.

En este sentido, el trabajo de otros investigadores que han intentado mejorar este indicador, como son el Indice g, propuesto por Leo Egghe [3] y el Indice r, propuesto por Jin BiHui et al. [4], consideran la cantidad de citas que reciben los artículos que forman parte del núcleo h, es decir, del volumen de artículos más citados que se toman en cuenta para el cálculo del Índice h. Por esta razón estos otros indicadores también son parciales, desde el punto de vista analizado. Pero, existen circunstancias que hacen necesaria la incorporación de las distintas facetas de un investigador cientifico tecnologico que no son visualizadas por el indice h y los indicadores citados. Sobre todo cuando se consideran evaluaciones de trayectorias que deben ser comparadas cualitativa y cuantitativamete dentro de instituciones y organismos de C&T, y necesitan ser complementadas con otros parámetros de evaluación. En tal sentido, con este trabajo se propone un conjunto de pautas que logren identificar algunas facetas individuales y resumirlas de acuerdo a: el papel (Rol) que el investigador ha desarrollado en los distintos proyectos (N) en los que ha participado; el alcance de estos  últimos;  los informes/auditorias aprobadas (A)  y calidad de los mismas; la correlación de las investigaciones personales con la politica de C&T local y sus áreas prioritarias (V); la calidad y totalidad de patentes presentadas (Np). Todo esto resumido en una tabla valorativa que es denominada: Indice P.

2. Metodología

2.1. Definición de parámetros a evaluar:

Se proponen como parámetros a evaluar los siguientes:

N_i: Proyectos de C&T con Auditorias Internacionales (A_i): Financiados y/o auditados por Organismos Multilaterales y al menos dos países.-

N_n: Proyectos de C&T con Auditorias nacionales (A_n): Financiados y/o auditados por Organismos del país.-

N_l: Proyectos de C&T con Auditorias locales: Financiados y/o auditados por Organismos locales (A_l): Institucines; Universidades; Municipios; etc.-

En cada uno de estos parámetros planteados, la situación específica  que cada interesado posee en relación al proyecto particular está dividido en los siguientes roles:

- Colaborador: se le asigna un puntaje de una (1) unidad.-

- Integrante: se le asigna un puntaje de dos (2) unidades.-

- Co-Director/RespTécnico/Ejecutor: se le asigna un puntaje de tres (3)  unidades.-

- Director: se le asigna un puntaje de cuatro (4) unidades.-

Se considera como regla que los roles de Colaborador (1) e Integrante (2) no pueden informar Auditorias Internacionales (A_i);  Auditorias Nacionales (A_n) y Auditorias Locales (A_l). Solo lo pueden hacer los roles (3) Co-Director /Resp. Tec./Ejecutor y (4) Director.

Cada proyecto puede tener involucrada un cierto número de patentes de invención, pudiendo ser estas de alcance Internacional (Np_I ) o Nacional ( NP_n ).

2.2. Ordenamiento de datos

Con la información obtenida y definida en el punto 2.1, se generan tres (3)  tablas ordenadas de acuerdo  a: Proyectos Internacionales (INT); Proyectos Nacionales (NAC) y Proyectos Locales (L). Y se contabilizan todos y cada uno de los parámetros a evaluar de acuerdo a:

Tabla I: Tabla de parámetros a evaluar en Proyectos Internacionales.-

 

Tabla II: Tabla de parámetros a evaluar en Proyectos Nacionales.-

 

Tabla III: Tabla de parámetros a evaluar en Proyectos Locales.-

 

2.3. Cálculo de los totales

Con la información del punto 2.2 se elaboran los totales de cada una de las tablas, a saber:

Tabla IV: Tabla de cómputo de parámetros totalizadores en Proyectos Internacionales.-

 

 En nuestro caso, para Proyectos Internacionales quedaría:

Tabla V: Tabla Resultante de parámetros totalizadores en Proyectos Internacionales.-

En tanto que para los proyectos Nacionales, se aplica al cálculo de totales las siguientes expresiones:

Tabla VI: Tabla de cómputo de parámetros totalizadores en Proyectos Nacionales.-

 

En nuestro caso, para Proyectos Nacionales quedaría:

Tabla VII: Tabla Resultante de parámetros totalizadores en Proyectos Nacionales.-

Los proyectos Locales serían evaluados con iguales algoritmos, quedando entonces para el cálculo de totales las siguientes expresiones:

Tabla VIII: Tabla de cómputo de parámetros totalizadores en Proyectos Nacionales.-

En nuestro caso, para Proyectos Locales  quedaría:

Tabla IX: Tabla Resultante de parámetros totalizadores en Proyectos Locales.-

2.4. Tabla General de Valoración

Se escogen las valoraciones de los parámetros internacionales, Nacionales y Locales estudiados dentro de la siguiente escala numerada de 0 a 100:

Tabla X: Tabla de referencia con coeficientes de valoración.

Con las valoraciones (V_I (Internacional); V_N (Nacional); V_L (Local))  escogidas se formula la Tabla General de Valoración otorgando los pesos relativos a los parámetros, de acuerdo a:

Tabla XI: Tabla General con valores de referencia.-

2.5. Cálculo del Indice P

Con la Tabla  General realizada en el punto 2.4 se calcula el Indice P con el siguiente arreglo:

Tabla XII: Tabla de cómputo de Indice P.

Que para nuestro caso de estudio queda determinado por los valores:

Tabla XIII: Indice P computado

3. Discusión

Comparaciones de perfiles mediante unicamente el hindice h en competencias por recursos escasos, hace a veces, establecer criterios de evaluación subjetivos que no hacen más que resaltar rasgos de una individualidad sobrevalorada o subvalorada, según sean los estudios que se establezcan, y las individualidades a las que se referencia. Ninguna mejora es conseguida por la utilización de otros indicadores como el indice g y el indice r, ya que por ejemplo, trabajos en cienciometria como los desarrollados por R. Arencibia Jorge y R. Carabajal Spino [5], o modificaciones para co-autores introducidas por M. Schreiber [6], demuestran que todos estos indicadores estudian una integralidad del desempeño de un investigador tan solo por un promedio de citas por articulo [1, 5, 6].  En tal sentido organismos nacionales como el Consejo Interuniversitario Nacional (CIN) viene considerando estos aspectos en el sistema de evaluación de RR HH en Ciencia y Tecnica, y refiere a los aspectos de su implementación, en las discusiones en las comisiones plenarias,  estableciendo distintas pautas de aplicación. Iinclusive, se han firmado acuerdos de implementación con Universidades Nacionales que aún no adecuan sus organos de funcionamiento académicos. En este sentido, se evidencian como ser en Proyectos como los denominados de Desarrollo Tecnológico y Social (PDTS) [7].

Esta limitación en el indice h también fue observada entre distintas disciplinas cientificas inclusive por J.E. Hirsch en la presentación de su indice, al establecer  que: “Se puede observar que como es lógico, investigadores altamente calificados también tienen altos índices h y que los altos índices h en las ciencias de la vida son mucho más altos que en la física” [1].Por lo tanto la implementación de una unica metodología con el indice h, incorpora un uso mecanico desfavorable en cualquier evaluación de dos o mas  perfiles en competencia por un recurso.  Y hace que estos perfiles no sean integramente evaluados de acuerdo a su totalidad. O,  lo que es más inconveniente, a veces se cae en la subjetividad de evaluar una trayectoria cientifico-tecnologica, tan solo por la cantidad de trabajos y citas que los mismos han tenido en un periodo determinado.

El espiritu propuesto por este nuevo Indice P  esta acorde a la postura de la Comisión Asesora del CIN dedicada a la Evaluación del Personal Cientifico y Tecnológico. Esto puede verse tanto en el Documento I [8] al establecerse que: “La no pertinencia de aplicar criterios de evaluación del personal dedicado a la investigación  básica   al   personal   dedicado   a   la   investigación   aplicada   y   al desarrollo tecnológico y social”, entre otros puntos de interés.

O con el Documento II [9] cuando se establecen aspectos evaluativos en las caracteristicas de los proyectos en los que un individuo participa, al establecer que deben evaluarse: ”… antecedentes  teóricos, metodologías  y  técnicas,  información  específica,  fases, recursos  técnicos  y financieros,  experticias,  legitimidad  ética  y  social, criterios  evaluativos  de  la misma actividad  suficientemente  explícitos  y  ordenados  de  manera  que  permitan  la comprensión  de  sus  fines  y  objetivos… “. Aspectos que hacen al  alcance  del  avance  cognitivo  de la evaluación de la gestión de un individuo en relaciíon a su avance y logros personales. Estos aspectos son sensiblemente evalualos por el Indice P.

Los parámetros elegidos  la metodología expuesta, están de acuerdo a la universalidad de factores con los que un investigador interactúa y participa en su rol especifico con la Academia/Organismo/Institución (Proyectos, Nacionales, Internacionales, locales, etc) que son complementarios a los considerados en el indice h (trabajos de índole editorial especializado) Particularmente se evaluan los roles de participación definidos por las convocatorias en el sistema local [10; 11; 12; 13; 14] (Colaborador; Integrante; Co-Director y Director) estableciendo un puntaje mayor al que posee mayor responsabilidad  en su rol especifico. Siendo los dos principales roles (Director y Co-director –Ejecutor) los únicos encargados de realizar (firmar) la documentación auditada por la autoridad externa.

Las valoraciones de los parámetros y sus pesos relativos son definidas por la institución u organismo que realiza el estudio comparativo de recursos, en relación a los incentivos locales, o politica de C&T particular. Por ejemplo si se le da mas valor en la institución a patentes internacionales o nacionales en relación a grupos de I+D  locales relacionados que se quieran fomentar; o se valoran mas los proyectos con auditorias nacionales o internacionales y los roles. Esta metodología puede aplicarse de acuerdo sea la necesidad especifica del país y de organismo involucrado en la evaluación.

Conclusiones

El calculo de este simple arreglo determina el Indice P como un conjunto de sub-indices que consideran la trayectoria individual de un investigador de acuerdo a sus funciones y especificidades realizadas en cada uno de los proyectos en los cuales ha desarrollado su actividad en C&T, lo enmarca con una valoración objetiva de cada uno de los parámetros analizados, ajustados éstos a una mirada institucional clara, y sin lugar a equivocos en cuanto esta individualidad deba ser comparada con alguna otra, de trayectoria similar, o no a su perfil. Por ejemplo en nuestro caso (Ver Tabla XIII) el indice P nos esta diciendo que al menos en tres (3) proyectos de I&D (Sub-indice N) el individuo ha realizado una tarea de informes de Auditoría (Sub-indice A) que supera un informe por proyecto (3.58) desde un rol (2.41) muy cercana a una co-dirección. Dentro de las politicas Institucionales de valoración de patentamiento (colocando Importancia superlativa en patentes Nacionales - Ver Tablas X y  XI) se le reconoce con un Indice NP (1) a la totalidad de las presentaciones efectuadas.

Si este individuo debe ser contrastado con algún otro, el que posea Sub-índices mayores, es el que posee un mejor Indice P  general. En cualquier otro caso, si algún Sub-indice del arreglo es menor, comparativamente se resuelve ese item por el que posee mayor valor en sus dos decimales.-

El indice P considera aspectos totalmente diferentes al Indice h, y por lo tanto no son contrastables uno con otro. Sinó que son complementarios y determinan otra faceta del investigador.

Referencias

[1] J.E. Hirsch, An index to quantify an individual’s scientific research output, 102, (46), (2005), pp. 16569–16572.

[2] J. Imperial, A. Rodriguez-Navarro, Usefulness of Hirsch's h-index to evaluate scientific research in Spain. Scientometrics,  (2007), Vol 71(2),  pp.271-282.         [ Links ]

[3] L. Egghe, Theory and practise of the g-index. Scientometrics,  (2006), Vol 69 (1), pp. 131-152.         [ Links ]

[4] BH Jin, LM. Liang, R. Rousseau, L. Egghe, The R- and AR-indices: Complementing the h-index. Chin Sci Bull, (2007), Vol 52(6), pp. 855-863.         [ Links ]-

[5] R. Arencibia Jorge; R. Carvajal Espino, Los índices H, G y R: su uso para identificar autores líderes en el área de la comunicación durante el período 2001-2006, ACIMED (2008), Vol 17 (4), ISSN 1024-9435.         [ Links ]

[6] M. Schreiber, To share the fame in a fair way, hm modifies h for multi-authored manuscripts, New Journal of Physics, (2008), Vol 10, doi:10.1088/1367-2630/10/4/040201.         [ Links ]

[7] CIN Documento I de la Comisión Asesora sobre  Evaluación del Personal Cientifico y Tecnológico del MINCYT: Hacia la redefinición de los criterios de evaluación del personal cientifico y tecnológico. Pautas y criterios para la evaluación del personal dedicado a actividades de Desarrollo Tecnologico y Social, (2015) Octubre 1, Acuerdo Plenario Nº 971/15.         [ Links ]

[8] Documento I de la Comisión Asesora sobre Evaluación del Personal Científico y Tecnológico del MINCYT: Hacia una redefinición de los criterios de evaluación del personal científico y tecnológico, (2012), Agosto 15, pp. 1.         [ Links ]

[9] Documento II de la Comisión Asesora sobre Evaluación del Personal Científico y Tecnológico: Precisiones acerca de la definición y los mecanismos de incorporación de los Proyectos de Desarrollo Tecnológico y Social (PDTS) al Banco Nacional de Proyectos del MCTIP, (2013), Junio 11, pp. 1.         [ Links ]

[10] http://www.agencia.mincyt.gob.ar/frontend/agencia        [ Links ]

[11] http://convocatorias.conicet.gov.ar/investigacion-y-desarrollo/        [ Links ]

[12] http://www.cin.edu.ar/        [ Links ]

[13] http://www.uba.ar/investigacion/        [ Links ]

[14] http://www.unlp.edu.ar/investigacion        [ Links ]

 

Dirección de contacto de los autores

Marcelo Pagnola
Av. Paseo Colón 850
C1063ACV
Buenos Aires, Argentina
e-mail: mpagnola@fi.uba.ar
sitio web: http://intecin.fi.uba.ar

Marcelo Pagnola Dr. de la Universidad de Buenos Aires;  Ingeniero Mecanico de la Universidad de Lomas de Zamora, UNLZ; Investigador Asistente del CONICET (INTECIN) y Profesor Adjunto en Cátedra de Fisica II, en la Facultad de Ingeniería, UBA.