El real valor de los factores de impacto

   La variable bibliométrica llamada "factor de impacto" (FI) apareció hace cuarenta años. En las palabras de Eugene Garfield, director del Institute for Scientific Information "es útil para clarificar el significado de las frecuencias absolutas (o totales) de las citas bibliográficas. Elimina algunos de los sesgos de tales recuentos que favorecen a las revistas grandes respecto de las pequeñas o a las de gran frecuencia de publicación respecto a las de menor frecuencia o de las revistas antiguas respecto de las recientes. Particularmente en el último caso, las revistas antiguas tienen una mayor cantidad de trabajos citables que las jóvenes. Igualando todas las variables, cuanto mayor sea el número de trabajos publicados mayor la frecuencia con que dicha revista será citada"^1-3.
    El FI sirve para ordenar las publicaciones según la persistencia de sus referencias en el tiempo. El Factor de Impacto de la revista A es el promedio anualizado del número de citas que el artículo promedio de A recibe por año en los dos años siguientes a su publicación. Un FI = 0.5 (para A y un año  determinado) indica que uno de cada dos trabajos  publicados por A fue citado en los dos años siguientes.  Garfield¹ declara que el FI se utiliza en la investigación de mercado por empresas editoriales y otras. En la investigación de mercado, el FI provee evidencia cuantitativa para los editores y publicistas para definir la posición de su revista en relación a otras del mismo tema, en una comparación vertical antes que interdisciplinaria. También es útil para evaluar el potencial de una revista por los responsables de contratar la publicidad.
    El FI fue tratado en dos editoriales de Medicina (Buenos Aires). En la primera oportunidad, el editorial tenía entre otros objetivos, precisar la posición de la revista en el conjunto de revistas de medicina⁴. En la segunda, la autora⁵ alude a las crecientes dificultades en publicar trabajos científicos, buenos tanto por su contenido como por su presentación y la influencia del FI en el proceso (ver pág. 358). Al igual que en otras latitudes, el FI ha suscitado discusiones por su empleo para calificar la calidad del trabajo de los investigadores^6-8.
    ¿Cuán relacionado está el FI de la revista con el FI de cada uno de los trabajos publicados en ella?  Seglen⁶ efectuó una investigación bibliográfica al respecto y  sus conclusiones son muy ilustrativas.  Para que el FI de una determinada revista pueda aplicarse a todos los artículos que contiene, la tasa de citaciones de los mismos debería tener una distribución normal, estrecha y con la media coincidente con el FI de la revista  Dividiendo los trabajos publicados por una determinada revista en dos grupos: los más y los menos citados, el primer grupo tiene una tasa de citaciones 10 veces superior al segundo. En otros términos, el FI es la media de una distribución que se aparta de la normal y que no es extensivo a todos los trabajos. El FI de cada trabajo será desconocido hasta que se lo investigue especialmente.
    El FI surge sin corrección por  autocitas, cartas al editor, ni la velocidad de publicación. La base de  datos que se utiliza para su compilación no es completa, no incluye libros, tiene un fuerte sesgo hacia el idioma inglés con predominio de revistas norteamericanas⁶.
    La heterogeneidad del contenido de las revistas es analizada en el artículo de Amin y Mabe⁹  poniendo énfasis en la definición de trabajo científico válido (selected).  El establecimiento de estándares mínimos para los trabajos científicos fue resuelto en 1978 por el Council of Biology Editors (CBE)⁸:

    "An acceptable primary scientific publication must be the first disclosure containing sufficient information to enable peers (1) to assess observations, (2) to repeat experiments and (3) to evaluate intellectual processes; moreover, it must be susceptible to sensory perception, essentially permanent,  available to the scientific community without restriction, and available for regular screening by one or more of the major recognized secondary services (e.g. currently, Biological Abstracts, Chemical Abstracts, Index Medicus, Excerpta Medica, Bibliography of Agriculture, etc., in the United States and similar facilities in other countries).

    Según admite Garfield¹, al ISI no le es posible codificar individualmente los 12 o más millones de referencias que procesa cada año. En consecuencia, los recuentos no distinguen entre cartas, revisiones o investigaciones originales. Este importante detalle hace particularmente interesante el análisis del FI de revistas pertenecientes a tres áreas (Medicina, Física y Neurociencias) de cuyos contenidos se han discriminado los trabajos que satisfacen la definición del CBE (llamados "selected" en⁹), respecto del total de ítem del índice (trabajos, cartas, comentarios, etc.). Una lectura de la curva de Medicina General e Interna (Figura 6 del artículo de Amin & Mabe) es que un 5% de las revistas (que probablemente exhiben FI elevados), reducirían el valor de sus FI en un tercio o más si éste se calculara contando solamente los trabajos que satisfacen la definición del CBE.
    ¿Qué actitud tomar hacia el factor de impacto? En una reciente carta a Nature,  Insall⁸ llama a descartar el factor de impacto después que los investigadores hayan producido como independientes por algunos años y propone que los árbitros de las revistas o los expertos consultados por las agencias que otorgan subsidios se contesten dos preguntas antes de tomar una decisión:
   Primero, ¿las publicaciones de este investigador han sido influyentes en su campo? ¿Han producido las bases para nuevos descubrimientos o modificado la percepción del problema? O esas publicaciones fueron predecibles o (peor aún) incorrectas?
   Segundo: ¿Cuán probable es que la producción reciente de este investigador tenga influencia en el área? Los expertos de las agencias tienen ventajas sobre los editores de revistas porque pueden efectuar juicios retrospectivos
    Insall⁹ admite que su propuesta no resolverá totalmente el problema pero llama a concentrarse en el valor de la investigación pasada y a evitar el factor de impacto en las evaluaciones, con el objeto de restablecer el equilibrio.
    Porque lo importante es el equilibrio en los juicios sobre el trabajo de los investigadores.
    La ciencia es la aventura democrática de esta era. Como los edificios, requiere tanto de arquitectos como de albañiles (de aquí la democracia). Una de las responsabilidades de los investigadores es introducir sus trabajos en el circuito de publicaciones que satisfagan la definición del CBE (como Medicina (Buenos Aires)) y permitan su recuperación por medio de Internet mediante servicios como los de la National Library of Medicine (USA)¹¹.
    El investigador es un profesional que tiene que demostrar permanentemente que trabaja y produce. La ausencia de resultados es la muerte del investigador. El objetivo es obtener resultados que impliquen un avance del conocimiento y además, obtener el reconocimiento por la comunidad científica al publicarlos en revistas de calidad. Pero el descubrimiento o fuerte avance en el conocimiento, actualmente, también dependen de la calidad del ambiente, su equipamiento y el dinero necesario para seguir ideas que pueden estar en desacuerdo con el paradigma circulante. En el proceso de alcanzar la excelencia (que se pueda) es importante tener en cuenta las bondades de la investigación en la formación de personas capaces de resolver problemas y de pensar independientemente.

Rodolfo C. Puche

Laboratorio de Biología Osea y Metabolismo Mineral, Facultad de Ciencias Médicas, Universidad Nacional de Rosario
e-mail: rpuche@arnet.com.ar

1. Garfield E. The Impact Factor. Current Contents, 20 junio 1994. http://sunweb.isinet.com/isi/hot/essays/journalcitationreports/7.html
2. Garfield E. Citation analysis as a tool in journal evaluation. Science 1972; 178: 471-9.
3. Garfield E. Citation indexing for studying science. Nature 1970; 227: 669-71.
4. Pasqualini CD, Kotsias BA. Pasado y presente de Medicina (Buenos Aires) 2000; 60: 1-7.
5. Pasqualini CD. Priorizar la creatividad sobre el fac-     tor de impacto. Medicina (Buenos Aires) 2003; 63: 358-60.
6. Seglen PO. Why the impact factor of journals should not be used for evaluating research. Br Med J. 1997; 314: 498-502.
7. Lawrence PA. Rank injustice. The misallocation of credit  endemic in science. Nature 2002; 415: 835-6.
8. Insall R. Impact factors: target the funding bodies. Nature 2001; 423: 535.
9. Amin M, Mabe MA. Impact factors: use and abuse. Medicina (Buenos Aires) 2003; 63: 347-54.
10. Citado por Day RA. How to write and publish a scientific paper. Philadelphia: ISI Press 1979; p. 2.
11. http://www.ncbi.nlm.gov/entrez/query.fcgi