ARTÍCULO ESPECIAL

El factor de impacto, sus variantes y su influencia en la promoción académica

 

Rodolfo C. Puche

Laboratorio de Biología Osea, Facultad de Ciencias Médicas, Santa Fe 3100, Rosario, Argentina

Dirección postal: Dr. Rodolfo C. Puche, Santa Fe 3100, 2000 Rosario, Santa Fe, Argentina
e-mail: rodolfopuche@ciudad.com.ar

 

---

Resumen
La bibliometría refiere a un conjunto de métodos de análisis o medición de la información. Aunque estos métodos pertenecen a la bibliotecología y ciencias de la información, algunas variables bibliométricas son muy frecuentemente utilizadas en áreas afines. Una de las más populares es el Factor de Impacto (FI). El FI es utilizado para determinar el impacto de un área en una determinada disciplina, el impacto de un grupo de investigadores o el de un trabajo en particular. Esta variable es usada en la evaluación cuantitativa de la producción académica y estaría amenazando el curso de la metodología tradicional y la evaluación de la investigación científica. En nuestro medio, los miembros de las comisiones evaluadoras de instituciones de investigación intensiva como el Consejo Nacional de Investigaciones Científicas y Técnicas (CONICET), utilizan el FI para calificar el trabajo de los investigadores. Este artículo revisa el crecimiento exponencial de la bibliometría e intenta exponer la insatisfacción general sobre la calidad analítica del FI. La insatisfacción mencionada es evidente al observar el número de investigaciones en curso que intentan obtener una nueva variable de calidad analítica perfeccionada.

Palabras clave: Bibliometría; Factor de impacto; Cientometría

Abstract
Impact factor, its variants and its influence in academic promotion. Bibliometrics is a set of methods used to study or measure texts and information. While bibliometric methods are most often used in the field of library and information science, bibliometrics variables have wide applications in other areas. One popular bibliometric variable is Garfield´s Impact Factor (IF). IF is used to explore the impact of a given field, the impact of a set of researchers, or the impact of a particular paper. This variable is used to assess academic output and it is believed to affect adversely the traditional approach and assessment of scientific research. In our country, the members of the evaluation committees of intensive research institutions, e.g. the National Scientific and Technical Research Council (CONICET) use IF to assess the quality of research. This article revises the exponential growth of bibliometrics and attempts to expose the overall dissatisfaction with the analytical quality of IF. Such dissatisfaction is expressed in the number of investigations attempting to obtain a better variable of improved analytical quality.

Key words: Bibliometrics; Impact factor; Scientometrics

---

 

El psicólogo James McKeen Cattell¹ parece haber sido la persona que introdujo la idea de calificar a los científicos por su performance y que en 1910 dijo “It is surely time for scientific men to apply a scientific method to determine the circumstances that promote or hinder the advancement of science” (Sin duda, es hora que los científicos apliquen el método científico para determinar las circunstancias que promueven o retrasan el progreso de la ciencia). Aunque Cattell sugería que “expert judgement is the best” (El juicio del experto es el mejor) es evidente que hoy nos encontramos en medio de una explosión de análisis sobre cuál es la mejor manera de tratar el trabajo de los investigadores y sus implicancias (calidad, impacto y/o prestigio).
Han pasado 8 años desde la publicación de mi artículo² sobre el Factor de Impacto (FI) en la evaluación de la calidad del trabajo de los investigadores. El peso atribuido en nuestro medio a dicha variable bibliométrica me ha inducido a elaborar el presente informe que intenta describir el crecimiento de su empleo, su falsificación, la aparición de opiniones encontradas, el desarrollo de variables bibliométricas alternativas, etc.

Expansión de la bibliometría

El número de publicaciones bibliométricas en los últimos veinte años tuvo un crecimiento exponencial caracterizado por la duplicación de dicho número cada 4.5 años (Fig. 1).

Fig. 1.Crecimiento exponencial del número de trabajos bibliométricos publicados entre 1991 y 2009. Redibujado de¹.

El activo crecimiento del área introdujo numerosos neologismos. Uno ellos, scientometrics, definido por Wikipedia como “the science of measuring and analysing science”. Muchas veces se confunde con bibliometrics que es una medida del impacto de las publicaciones. Las investigaciones “scientométricas” tienen dos publicaciones periódicas: Scientometrics y Journal of the American Society for Information Science and Technology (JASIST). La International Society for Scientometrics and Infometrics fue fundada en 1993, su sigla es ISSI, es una asociación de profesionales en los campos de informetrics, technometrics, bibliometrics/scientometrics, and webometrics.
Antes de avanzar en esta revisión me parece pertinente recordarle al lector cómo se calcula el FI.
El FI 2010 para el Journal XX³ resultó del cálculo siguiente:

en números:

FI = (231 + 240) / (50 + 61) = 4.2

Por definición del Institute for Scientific Information (ISI) sólo los artículos de investigación (artículos originales), las notas técnicas y las revisiones son artículos “citables”³. Por lo tanto, en este ejemplo el número de “artículos citables” no incluye Cartas al Editor y correspondencia asociada que aumentarían el numerador de la ecuación. Obsérvese que sólo el 23.5% de los trabajos publicados en 2008-2009, fueron citados por otros investigadores en el lapso indicado. No obstante, se supone que todos los artículos publicados fueron evaluados rigurosamente por lo menos por dos expertos antes de recibir la aprobación del Editor en Jefe y califican como “citables”.
Obsérvese asimismo, que el FI depende de la base de datos usada para su cálculo (denominador de la ecuación anterior). Van Noorden¹ refiere que un trabajo de A. W. Harzing sobre gerenciamiento internacional fue citado 815 veces por Thomson Reuters, 952 por Scopus y 2226 por Google Scholar.

La recepción de las variables bibliométricas en el ambiente académico

Está documentado que es frecuente que las Comisiones Evaluadoras basen sus juicios en que los trabajos producidos en su Institución sean publicados en revistas de alto FI⁴.
Sin embargo, la confianza excesiva en los FI ha llevado a que la evaluación tenga fuertes influencias externas a la institución o a la política científica, mediante la vinculación del dictamen con el título de la revista (que se supone asociada con la calidad, la pertinencia y el impacto probable de un trabajo científico).
Nature⁵ ha publicado los resultados de las respuestas de 150 lectores del Reino Unido a la pregunta: ¿Se emplean variables bibliométricas en su institución o departamento para asignar contratos de trabajo, cargos vitalicios (tenure), promoción académica, decisiones salariales, evaluaciones varias y asignación de fondos para investigación? Las respuestas definen cuál es la percepción de esos lectores:

Y en respuesta a la pregunta: ¿En general, cuán satisfecho está Ud. con la forma en que usan las variables bibliométricas?, la distribución de las respuestas fue:

Otros resultados de la encuesta de Nature⁵ muestran desconexión entre la visión de los investigadores y de los administradores sobre los méritos de las variables bibliométricas. El 71 % de los que respondieron, dijeron estar preocupados porque hay colegas que pueden “jugar con” o “engañar” al sistema de evaluación de sus instituciones (ver más abajo). El 51% dijo haber modificado su comportamiento por los criterios con los que eran evaluados.
“Calidad antes que cantidad” debería ser el ideal en las instituciones de investigación intensiva⁴. ¿Qué sucede cuando las instituciones (y las Comisiones de Evaluación) demandan mayor cantidad de investigación, a pesar de que saben que no necesariamente obtendrán productos de alta calidad? Me parece que hemos sido testigos del siguiente fenómeno: Los editores crearon nuevas revistas para conseguir que todas las investigaciones fueran publicadas, lo que terminó produciendo un cuerpo de revistas, no todas de primera clase. Se cumplió el sarcasmo de Leo Rosten: revistas de primera categoría toman decisiones de primer nivel pero, para sobrevivir, las revistas de segunda categoría toman decisiones de tercera, que conducen a una mezcla terrible. Esta explosión de la demanda de “volumen, volumen, volumen” ha creado una suerte de carrera “publicatoria” en todo el mundo. Todos quieren tener la revista con mayor factor de impacto, lo que es simplemente imposible. Y los investigadores no pueden obviar su participación en esa carrera, ya que necesitan publicar sus resultados. Las empresas que publican revistas científicas dan curso a esa necesidad y las insertan en sus bases de datos. ¿Se impondrá orden en algún momento?
En instituciones de investigación intensiva el análisis y evaluación de informes científicos suele representar una carga indeseable pero inevitable para los miembros de las comisiones evaluadoras. Supongo que por estas cargas, las variables bibliométricas se usan como proxy ⁶ para evaluar la calidad del trabajo académico. Según Wikipedia, en una red informática, un proxy es un programa o dispositivo que realiza una acción en representación de otro. En el caso de la evaluación de un trabajo científico diríamos: si se requiere que un evaluador a emita un informe del trabajo del investigador c, lo hará mediante una petición al factor de impacto b. Es decir que a no necesariamente se interiorizará del trabajo de c y fundamentará su juicio (o una parte de él) en el proxy b.

Nuevas variables bibliométricas

La falta de satisfacción por el FI ha promovido la búsqueda de mejores indicadores. El universo de estimaciones bibliométricas está en expansión, y sugerencias para mejorar su empleo pueden encontrarse en Nature⁷.
El aumento del número de los análisis ha sido alimentado por la disponibilidad de bases de datos como Web of Science de Thomson Reuters, Scopus de Elsevier y Google Scholar. Ambos, Thomson Reuters (actualmente propietaria de la empresa fundada por Eugene Garfield) y Elsevier ofrecen computar estos nuevos índices a los que llaman Eigenfactor y SCImago Journal Rank (SJR) respectivamente.
El Eigenfactor es otra medida que evalúa la importancia de una revista en un período de cinco años, tiene en cuenta diferencias de número de citas entre disciplinas y la posición de la revista entre sus semejantes en un campo determinado. Un programa⁸ provee el Eigenfactor Score: una medida del valor general provisto por todos los artículos publicados en una revista dada en un año determinado y el Article Influence Score: una medida del prestigio de la revista basado en citas por artículo y comparable al Factor de Impacto.
Otras veces se incluye el índice-h o número de Hirsch⁹ que pone énfasis en el autor intentando medir su productividad e impacto. Este índice fue diseñado para determinar la calidad relativa de investigadores en física teórica. Se basa en el conjunto de trabajos más citados de un investigador y en el número de citas de sus trabajos en las investigaciones de otros. El programa de cálculo puede obtenerse en http://download.famouswhy.com/scholar_h_index_calculator. Cada base de datos provee números-h diferentes en razón de la diferente cobertura de dichas bases.
El Faculty Scholarly Productivity Index (FSPI) se basa en una serie de algoritmos estadísticos desarrollados por Lawrence B. Martin y Anthony Olejniczak¹⁰, cubre el espectro de actividades del investigador: productividad, publicaciones, citaciones de sus trabajos, subsidios, premios y honores, para crear estándares dentro y entre universidades norteamericanas
El FI ha recibido la atención de numerosos investigadores que han propuesto modificaciones³: Cited Half Life Impact factor (CHAL-IF), Median Impact Factor (MIF), Percentile IF (pIF), Disciplinary Impact Factor (DIF), Euro-Factor (EF), Prestige Factor (PF) y otros.

Opiniones destacadas sobre el FI

La siguiente declaración fue adoptada unánimemente el 17 de mayo de 2009 en la International Respiratory Journal Editors Roundtable¹¹, integrada por los editores de: Journal of Applied Physiology, Proceedings of the American Thoracic Society; American Journal of Respiratory and Critical Care Medicine; American Journal of Respiratory Cell and Molecular Biology; European Respiratory Journal; Thorax; European Respiratory Journal, Primary Care Respiratory Journal; Respiratory Research; Respirology; International Journal of Chronic Obstructive Pulmonay Disease y Respiratory Medicine.

“In our collective experience as editors of international peer-reviewed journals, we propose that the impact factor calculated for individual journals should not be used as a basis for evaluating the significance of an individual scientist's past performance or scientific potential” (Como editores de publicaciones cuyo contenido es previamente revisado por pares, proponemos que el factor de impacto calculado para cada revista no debería ser usado para evaluar la importancia de la trayectoria o potencial científico de un determinado investigador).

En coincidencia con los editores de las revistas de Neumonología he encontrado dos trabajos. Un investigador¹² del Departamento de Economía de una universidad de la India ha publicado un detallado análisis estadístico del FI de diversas disciplinas cubriendo cientos de revistas. La European Association of Science Editors ha emitido una declaración sobre el inapropiado empleo del FI¹³.

Observaciones producidas por el uso de FI^{1, 12-18}

• El número de autocitas contribuye a elevar el FI. Según Thomson Scientific, hasta un 20% de autocitas es aceptable.
• Es beneficioso para el autor incluir alto número de referencias bibliográficas¹².
• No todos los artículos publicados en una revista califican como fuentes dignas de ser citadas (trabajos no citables). Pero todas las referencias a estos trabajos no citables serán incluidos para engrosar el numerador de la fórmula de cálculo del FI.
• Artículos de revisión. Estos artículos serán los más citados. En consecuencia, las revistas que publiquen revisiones tendrán un factor de impacto mayor.
• Tiempo de publicación¹⁴. Un trabajo publicado en enero tendrá 11 meses más para ser citado que el mismo publicado en diciembre
• Los autores usan otros criterios además del FI para elegir el destino de sus trabajos. Por ejemplo, la relación entre el producto de su trabajo y las revistas que cubren dicha área.
• Las bases de datos tienen un sesgo hacia EE.UU. y al idioma inglés. Además, la cobertura no es exhaustiva¹⁵. Las empresas con grandes bases de datos ofrecen evaluaciones enfocadas en sus propias bases. Aún no hay estándares definidos para investigadores, la utilidad para la comparación entre áreas aun no ha sido definida.
• Los libros no son incluidos en la base de datos como fuente de citas.
• El FI depende de la dinámica (expansión o contracción) del área de investigación, no se extiende a la calidad general del trabajo de los autores, no es apropiado para la comparación de diferentes disciplinas, y quienes lo usen deben conocer sus limitaciones¹⁵.
• Las áreas reducidas de investigación tienen revistas de bajo índice.
• Número de citas (número de veces que un investigador o su trabajo es citado por otros): Es una simple indicación de influencia. No es comparable entre campos de investigación o entre etapas de una carrera.
• Accesos on line (número de veces que un trabajo es leído o “bajado” de la red): Enfocado a artículos particulares que capturan la atención de personas con intereses varios, no solo científicos. Estándares globales indefinidos, sólo para audiencias on line, pueden priorizar lo llamativo sobre calidad. A menudo acompañado por comentarios.
• Betweenness Centrality. Medida de la centralidad (importancia) de un nodo en una red, alude a la carga sobre un nodo en una red. Intenta cuantificar la conexión entre investigadores o trabajos. Raramente usado por evaluadores, reduce un mapa de red a un simple número.
A.W. Harzing ha producido un libro (“The Publish or Perish Book”) y ofrece un programa de computación (http://www.harzing.com/pop.htm) que recupera y analiza referencias bibliográficas usando Google Scholar proveyendo las siguientes variables bibliométricas: número total de trabajos, ídem de citas, promedio de referencias por trabajo, promedio de referencias por autor, promedio de trabajos por autor, promedio de citas por año, índice h de Hirsch, índice g de Egghe, índice h contemporáneo, la tasa de referencias ajustada a la edad, dos variantes de índices h individuales y el análisis del número de autores por trabajo. Según la autora, está diseñado para que los investigadores perfeccionen sus presentaciones y mejoren sus chances. Harzing dice que se preocuparía si su programa fuera utilizado de manera mecánica para la evaluación de investigadores. Y sugiere las siguientes reglas: Si las variables bibliométricas favorecen a un investigador es muy probable que tenga impacto significativo en su campo. Pero lo inverso no es necesariamente cierto; si las variables no lo favorecen ello puede deberse a que trabaja en un área reducida y que por ello genera pocas referencia en total, que no publica en inglés o que publica solo en libros.

Manipulación del FI

Una nota en el blog de The Scholarly Kitchen (19 de enero de 2011) ofrece indicaciones sobre cómo falsificar las estimaciones bibliométricas de la web 2.0¹⁹.
Jan H. Schön, ex investigador de Bell Laboratory, publicó una serie de hallazgos falsos en superconductividad, electrónica molecular y cristalografía en varias revistas que incluían Science, Nature y Applied Physics Letters²⁰. El lector imaginará fácilmente el tráfico de correspondencia que produjo el caso.
Las retractaciones pueden continuar siendo citadas por otros y consideradas como trabajos citables en el cálculo de FI³.
Se han denunciado casos de solicitación de autocitas por el editor. En 1997 la revista Leukemia fue acusada de manipular el FI al solicitar a los investigadores que aumentaran el número de citaciones a la revista²¹. Otros dos casos similares han sido referidos por J. Neuberger, C. Counsell²² y A. Sevinc²³.
La pobreza del FI para calificar el trabajo de los investigadores ha provocado la publicación de la siguiente sarcástica receta para falsificarlo²⁴: 1) Que el editor escriba una nota banal titulada “La elección del editor” con referencias a los artículos contenidos en ese número, incluyendo las referencias. 2) Que el editor encargue comentarios sobre la nota que comenta los trabajos. 3) Que el editor responda la correspondencia recibida a raíz de su nota. 4) Que el editor publique trabajos en un área de gran actividad e incluya en ellos serios errores en las listas de referencias. (Esto provocará la correspondencia de los autores mal citados). 5) Que publique la fe de erratas correspondiente.

Investigaciones sobre variables bibliométricas

Investigadores franceses e italianos²⁵ han examinado los determinantes de la productividad científica (número de publicaciones y sus FI) entre 3600 físicos franceses e italianos en el período 2004-2005. Los problemas referentes a endogamia y promoción y productividad son investigados con un modelo Tobit en el cual una ecuación de selección probit da cuenta de la probabilidad de promoción y produce estimaciones de regresión entre clase (calificación) con edad, género, cohorte de ingreso y características de la coautoría. Encuentran que la magnitud y la naturaleza internacional del proyecto, así como la productividad pasada de los coautores tienen significativa influencia en la productividad actual. La edad, género y productividad pasada son determinantes menos significativos de la productividad y probabilidad de promoción. Además, encuentran que las políticas de reclutamiento y promoción típicas de los centros franceses e italianos dejan perdurables efectos de productividad en la cohorte.
Castelnuovo y col.²⁶ han propuesto el Single Researcher Impact Factor (SRIF) que trasladaría el eje de la evaluación: del poder de las publicaciones científicas a la calidad individual de los investigadores. El índice propuesto puede tomar en cuenta el número y calidad de las publicaciones tradicionales y otras actividades usualmente asociadas con la tarea del investigador, tales como revisión de manuscritos, producción de libros y participación en actividades científicas. Aplicado a la política de subsidios considera los méritos, contribuciones e impacto de las demás actividades, junto con el FI de las publicaciones.
Aunque aún falta la validación y el consenso indispensable, el novel Scimago Journal Rank (SJR)²⁷ podría constituirse en una seria alternativa al FI principalmente por su carácter de open access, amplia base de datos y evolución de la calidad de las citas.
Cleaton-Jones y Myers²⁸ han comparado tres variantes del FI, sin llegar a una conclusión definitiva sobre el valor de cada una.

Síntesis final

Eugene Gardield¹, inventor del FI ha dicho: “If there is one thing every bibliometrician agrees, it is that you should never use the Journal impact factor to evaluate research performances for an article or for an individual that is a mortal sin.” (Si hay algo en lo que todos los estudiosos de las variables bibliométricas están de acuerdo, es que nunca se debería usar el factor de impacto de una revista para medir el impacto de un artículo o de un científico. Eso es un pecado mortal).
Brendan Luyt²⁹ expone “In this paper I have outlined two broad reasons for why measures such as the JIF have achieved the success they have to date. On the one hand, the age old allure of having a simple number represent a complex reality continues unabated in today's society. On the other hand, the changing nature of the conflict between labour and capital with the increasing subsumption of society into the realm of capital has also fueled the need for such measures. As capital swallows the institution of the university, the need to impose its traditional strategies of labour control becomes urgent regimes of rationalization, casualization, and performativity are the result. The IF is an integral part of these mechanisms of control. There are alternatives and we believe more valid measures of the quality and impact of an individual scientist's published contributions. First, a citation record for the individual candidate is readily available via several types of Internet search engines. Second, the time-honored practice of soliciting evaluations concerning the significance of a candidate's work from scientific peers who are carefully selected to be both highly qualified as well as clearly “arm's-length” from the candidate should be rigorously applied”. (En este artículo he elaborado sobre dos importantes razones por las que el FI ha alcanzado su actual popularidad. Por una parte, la vieja ilusión de representar la compleja realidad que nos rodea con un simple número. Por otra parte, la fluctuante naturaleza del conflicto entre trabajo y capital y la creciente incorporación de la importancia del capital en la sociedad, han promovido la necesidad de tales medidas. En tanto el capital devora la institución universitaria, se ha hecho necesario emplear las estrategias tradicionales del control del trabajo. El resultado ha sido la rápida incorporación de los regímenes de rationalization, casualization y performativity (ver definiciones más abajo). Considero al FI como parte integral de este mecanismo de control. Creemos que hay otras alternativas y medidas válidas para medir la calidad e impacto del trabajo de un científico. Primero, el listado de las citas de los trabajos de un determinado investigador, accesible por medio de buscadores de Internet. Segundo: la práctica de solicitar evaluaciones relacionadas con el significado del trabajo realizado por el científico, a pares evaluadores cuidadosamente seleccionados y altamente calificados que están a corta distancia del investigador).
Las tres definiciones que siguen son de significado ambiguo. El autor ha seleccionado, para cada una de ellas la que a su juicio es pertinente al tema de la revisión.
Rationalization: En la jerga de negocios significa reducción en número o intento de modificación de procesos ad-hoc preexistentes por otro basado en una serie de reglas.
En: http://en.wikipedia.org/wiki/Rationalization; consultado el 25.06.2011
Performativity: Concepto referido al importante papel que la ciencia juega no sólo respecto a los mercados y su economía sino también en darles un marco de referencia. En: http://en.wikipedia.org/wiki/Performativity; consultado el 25.06.2011
Casualization: Reemplazo del trabajo de personas de dedicación exclusiva por otros de dedicación parcial (“casual”). En:
http://www.insidehighered.com/blogs/confessions_of_a_community_college_dean/casualization; consultado el 25.06.2011.

Conflictos de interés: El autor no tiene conflictos de interés que declarar.

Bibliografía

1. Citado por Van Noorden R en: A profusion of measures. Nature, 2010; 465: 864-6.         [ Links ]

2. Puche RC. El real valor de los factores de impacto. Medicina (B Aires), 2003; 63: 355-7.         [ Links ]

3. Dong P, Loh Marie M, Ondry A. The "impact factor" revisited. Biomed Digit Libr 2005; 2:7-15. En: http://www.bio-diglib.com/content/2/1/7 ;consultado 25/05/2011.         [ Links ]

4. Hartley D., Acord SAK. Peer review in academic promotion and publishing. Iots meaning, locus and features. En: http://cshe.berkeley.edu/publications/docs/PeerReviewWorkingPapers.04.22.10.pdf ;consultado el 25/05/2011.         [ Links ]

5. Abbot A, Cyranoski D, Jones N, Maher B, Schiermeier Q, Van Nooden R. Do metrics matter? Nature 2010; 465: 860-2.         [ Links ]

6. Holden G, Rosenberg G, Barker K, Onghena P. An assessment of the predictive validity of impact factor scores: implications for academic employment decision in social work. Res Soc Work Pract 2006; 16: 613-24.         [ Links ]

7. Nature: (June 2010 special Web feature) http://www.nature.com/news/specials/metrics/index.html.         [ Links ]

8. Eigenfactor. En: http://www.eigenfactor.org; consultado el 15/05/2011.         [ Links ]

9. Hirsch JE. An index to quantify an individual's scientific research output. PNAS 102:16569-16572. En: http://en.wikipedia.org/wiki/H-index; consultado el 15/05/2011.         [ Links ]

10. System and Method for Ranking Academic Programs; Patent Number US 7,653,608 B2; issued: January 26, 2010. En: http://www.freshpatents.com/System-and-method-for-ranking-academic-programs-dt20061123ptan20060265237.php ;consultado el 25/05/11.         [ Links ]

11. Russell R, Singh D. Impact factor and its role in academic promotion. Int J Chron Obstruct Pulmon Dis, 2009; 4: 265-6.         [ Links ]

12. Mishra SK. Does the journal impact factor help make a good indicator of academic performance? En: http://mpra.ub.uni-mienchen.de/17830/; consultado el 15/05/2011.         [ Links ]

13. Polderman KS. Keep your hands off our impact factor (editorial). EASE statement in inappropriate use of impact factors. European Science Editing 2007; 37: 98-100.         [ Links ]

14. Seglen PE. Why the impact factor of journals should not be used for evaluating research. Brit Med J 1997; 314: 498-502.         [ Links ]

15. Corbyn Z. An easy way to boost a paper´s citations. En: http://www.nature.com/news/2010/100813/full/news.2010.406.html ; consultado el 15/05/2011.         [ Links ]

16. Mathur VP, Sharma A. Impact factor and other standardized measures of journal citation: a perspective. Indian J Dent Res 2009; 20:81-5. En: http://www.ijdr.in/text.asp?2009/20/1/81/49072 ; consultado el 15/05/2011.         [ Links ]

17. Meenen NM. The impact factor-a reliable scientometric parameter? Unfallchirurgie, 1997; 23: 128-34.         [ Links ]

18. Kurmis AP. Understanding the limitations of the journal impact factor. J Bone Joint Surg Am 2003; 85-A: 2449-54.         [ Links ]

19. Crotty D. How meaningful and reliable are social article metrics? En: http://scholarlykitchen.sspnet.org/2011/01/19/how-reliable-are-social-article-metrics/#comments; consultado el 15/05/2011        [ Links ]

20. Brumfield G. Misconduct findings at Bell Labs shakes physics community. Nature 2002, 419: 419-21.         [ Links ]

21. Smith R. Journal accused of manipulating impact factor. Brit Med J 1997; 314: 463        [ Links ]

22. Neuberger J, Counsell C. Impact factors: uses and abuses. Eur J Gastroenterol Hepatol 2002; 14: 209-11.         [ Links ]

23. Sevinc A. Manipulating impact factor: an unethical issue or an Editor´s choice? Swiss Med Wkly 2004; 134: 410.         [ Links ]

24. Langdon-Neuner E. More ways editors can improvew impact factors. The Journal of the European Medical Writers Association 2007; 16: 134.         [ Links ]

25. Lisoni F, Mairesse J, Montobbio F, Pezzoi M. Scientific productivity and academic promotion: a study on French and Italian physicists. Ind Corp Change 2011; 20: 253-94.         [ Links ]

26. Castelnuovo G, Limonta D, Sarmiento L, Molinari E. A more comprehensive index in the evaluation of scientific research: the Single Researcher Impact Factor Proposal. Clin Pract Epidemiol Ment Health 2010, 6: 109-14.         [ Links ]

27. Falagas ME, Kouranos VD, Arencibia-Jorge R. Karageorgopoulos, DE. Comparison of SCImago journal rank indicator with journal impact factor. FASEB J 2008; 22:2623-8.         [ Links ]

28. Cleaton-Jones P, Myers G. A method for comparison of biomedical publication quality across ISI discipline categories. J Dent Education 2002; 66: 690-6.         [ Links ]

29. Brendan Luyt. The Political Economy of the Journal Impact Factor. En: http://www.cais-acsi.ca/proceedings/2009/Luyt_2009.pdf ; consultado el 15/05/2011.         [ Links ]

Recibido: 7-6-2011
Aceptado: 13-7-2011