DEBATES

Tengo una cita: respuesta a Martín Oesterheld

 

Alejandro G. Farji-Brener

Laboratorio Ecotono, CRUB-UNComa, CONICET-INIBIOMA. Bariloche, Argentina. mail: alefarji@yahoo.com

Editora asociada: Ana Cingolani

Recibido: 21 de marzo de 2013; Fin de arbitraje: 22 de marzo;
Revisión y Aceptación 26 de amrzo.

 

Palabras clave: Evaluación académica; Calidad; Citas; Investigación; Factor de impacto; Política científica

Keywords: Academic evaluation; Quality; Citations; Research; Impact factor; Science policy

 

Paradójicamente, el artículo en donde critico al número de citas de un manuscrito como estimador de su calidad fue tempranamente citado. Me agrada esta cita: el interlocutor posee experiencia en el tema y la charla promete ser interesante. Adicionalmente, dispara un debate útil para mejorar el actual sistema indirecto de evaluación académica. Aprovecharé esta cita para primero rescatar las coincidencias, y segundo discutir las disidencias. Luego veremos quién paga la cuenta.

LAS COINCIDENCIAS

La primera coincidencia que deseo rescatar, y que considero el corazón de este debate, es que el número de citas que posee un artículo es un indicador imperfecto de su calidad o la de su autor. Ambos estamos de acuerdo en ello. La cuestión es cuan imperfecto es, si estas imperfecciones opacan su uso como herramienta, y que riesgos corremos si lo utilizamos pese a sus defectos. La segunda coincidencia es que la analogía empleada en mi artículo original puede no reflejar el mundo de la academia. Esa metáfora asemejaba a los científicos con artistas que eran evaluados básicamente por la "popularidad" de sus obras más que por su calidad (Lawrence 2007). Como bien ejemplifica Martín Oesterheld (de aquí en más, MO), el consumidor final de nuestras publicaciones son mayoritariamente otros científicos, no el público general. Por lo cual la comparación con artistas que producen sus obras para el público es imprecisa. Las analogías de MO sobre detectives resolviendo un caso o músicos componiendo una gran obra ensamblando piezas musicales de otros músicos son más precisas con el quehacer científico. En consecuencia, yo también emplearé esas analogías para ampliar y justificar mis argumentos.

LAS DISIDENCIAS: REVISANDO MIS CUATRO ARGUMENTOS CONTRA EL USO DE LAS CITAS

Primero: se cita un manuscrito más por su pertinencia que por su calidad

En su artículo, MO sostiene que un manuscrito llega a ser citado porque generalmente buscamos trabajos en buenas revistas, las cuales han sometido a los mismos a un "control de calidad", aceptando los mejores y desechando los peores. Yo creo que eso no es necesariamente cierto. Primero, actualmente se emplean más los buscadores en internet que la revisión del contenido de ciertas revistas. Dichos buscadores envían semanalmente un listado con los títulos de todos los artículos recientemente publicados en relación a un tópico de interés. El investigador elige que artículos leer, y posteriormente, cuales citar en su trabajo. La pregunta clave es ¿citará aquellos que aparecen en revistas de primer nivel o los más pertinentes al trabajo que se encuentra escribiendo? Yo insisto que la pertinencia gana la batalla. Uno cita artículos porque apoyan o critican cierta idea, o porque sus resultados se complementan con los propios, o porque son ejemplos que apoyan nuestras metodologías o interpretaciones. No porque salen en Science. En otras palabras, la cantidad de pistas que un detective emplea de otro detective no depende solo de su calidad sino del tipo de caso que deba resolver. Si es un asesinato empleará cierto tipo de pistas; si es un robo, otras. Todas deben ser buenas pistas, pero la cantidad de veces que se emplean una u otra no será un buen indicador de su calidad porque ésta va a depender de cuantos asesinatos y robos existan, y cuantos detectives especializados en crímenes y hurtos haya. Del mismo modo, una obra maestra clásica posiblemente no se va a nutrir de melodías jazzísticas. Inclusive dentro de un mismo género musical, el empleo de pequeñas melodías para formar una obra mayor puede depender de otras causas (ritmo, tonalidad, etc.) que tienen más que ver con la pertinencia (i. e., lo que el autor de la gran obra musical desea trasmitir) que con la calidad de las melodías que emplea. Muchas pequeñas melodías excelentes quedarán fuera de la gran obra no por ser malas, sino por una cuestión coyuntural. La pertinencia es entonces un filtro más potente que la "calidad". Segundo, es peligroso delegar el control de calidad en otros, aunque éstos sean editores angloparlantes de revistas prestigiosas. Cuando la jefatura del cuerpo debe evaluar a los detectives, la cantidad de veces que sus descubrimientos fueron empleados por otros detectives es considerada por MO como la variable más valiosa. Pero, ¿no sería una mejor y más directa forma de evaluar a los detectives simplemente revisar los informes y determinar si las interpretaciones del autor se basan en evidencias sólidas y si van en la dirección correcta para resolver el caso?

Segundo: hay manuscritos que poseen más probabilidad de ser citados que otros

En mi artículo original, desarrollé el ejemplo de los artículos de revisión, los cuales por razones obvias son generalmente más citados que manuscritos que describen situaciones particulares. No es mi objetivo criticar los trabajos de revisión. Obviamente, todos estamos felices si existe un buen trabajo de revisión sobre el tópico que estamos trabajando, porque su lectura nos ahorra tiempo y energía. Mi objetivo era ilustrar como determinados trabajos, independientemente de su calidad, tienen una mayor probabilidad de ser citados que otros, distorsionando entonces al número de citas como una herramienta adecuada de evaluación académica. La revisión de cierta clase de asesinatos va a ser muy citada por los detectives que se dedican a ese rubro, pero eso no implica que esa revisión sea de mejor calidad que el informe sobre un asesinato particular. MO sostiene que los trabajos de revisión no siempre poseen más citas y describe la gran varianza en las citas de trabajos publicados en Annual Reviews of Ecology, Evolution and Systematics. Sin embargo, la comparación me parece inadecuada. Mi idea es que un artículo de revisión va a poseer en promedio más citas que un artículo que detalla particularidades de un organismo o sistema. O sea, mi argumento se basa en comparaciones inter-específicas, no intraespecíficas. Paradójicamente, si valoramos más las revisiones estaremos desestimulando la realización de trabajos particulares, cuya existencia es imprescindible para escribir las revisiones. Sin embargo, es muy meritorio que un investigador haya escrito un buen artículo de revisión. Pero entonces, para evaluar su calidad es mejor leerlo que cuantificar cuantas citas tuvo.

Tercero: el número de citas no refleja el impacto real de un manuscrito

Sobre esta idea, MO escribe "Estoy de acuerdo con este argumento en términos generales, pero es raro que un trabajo científico impacte sobre la comunidad científica y ese impacto no se demuestre en citas". Yo creo que eso es verdad solo en los casos extremos. Un artículo inmensamente citado es muy probable que sea de mejor calidad o posea más impacto sobre la comunidad científica que uno nunca o muy poco citado. Pero en el medio de estos extremos se encuentran la gran mayoría de los trabajos, en donde artículos científicos de gran impacto han sido muy citados recién 10 años después de su publicación (Farji-Brener 2012). Esta latencia hace inviable emplear al número de citas como un buen indicador de la calidad de un trabajo. Un informe de un detective puede pasar desapercibido para otros detectives por décadas, pero en determinado momento ser clave para resolver un misterio. Este tiempo de retardo no va en desmedro de su calidad.

Cuarto: un combo de razones

Mi último argumento era en realidad un conjunto de motivos analizados en trabajos anteriores, los cuales MO acepta. Sin embargo, se detiene en dos ejemplos que amerita aclarar: el uso del inglés y el impacto de no leer los trabajos citados. Concuerdo con MO que un trabajo mal escrito es de peor calidad que uno bien escrito, pero esa diferencia cualitativa es independiente del idioma del artículo. El argumento es que un trabajo publicado en un buen inglés posee más probabilidades de ser citado que un trabajo bien escrito en otro idioma, independientemente de su calidad (Clavero 2010). Segundo, insisto en que citar trabajos no leídos atenta contra el uso de las citas como indicadores de calidad. Si un investigador cita un trabajo porque apoya su hipótesis pero no lo lee, ¿cómo puede evaluar si ese apoyo proviene de una metodología inadecuada o de una incorrecta interpretación de los resultados? Citar un trabajo sin leerlo es como criticar o alabar una comida sin haberla probado. Imaginémonos detectives que emplean los informes de otros detectives solo leyendo el resumen, o músicos que deciden incorporar melodías de otros músicos solo por su título ¿Qué valor real poseen esas incorporaciones a la resolución del caso o a la belleza de la gran obra musical?

Epílogo de una buena cita

Como dice MO, dentro de una disciplina, los trabajos pueden variar enormemente en su calidad o nivel de impacto. Y nosotros los científicos queremos leer y emplear los trabajos de mejor calidad. El problema es que no tenemos el tiempo real de leer todos los artículos publicados sobre cierto tópico. Entonces, delegamos ese control de calidad en editores y revisores de revistas, suponiendo que van a hacer un buen trabajo por nosotros. Sin embargo, no siempre es así. Si confiamos el control de calidad de lo que leemos en otras manos para nuestras propias investigaciones, los únicos afectados seremos nosotros. Pero si delegamos el control de calidad en otras manos cuando evaluamos candidatos podemos cometer grandes injusticias con otros. Por ejemplo, relegar buenos investigadores porque sus trabajos han sido poco citados (Farji-Brener 2012). Una evaluación del rendimiento individual más armónica, quitándole impacto a los índices y delegando menos en otras manos el trabajo de valorar la producción académica, podría ayudar a mejorar el sistema científico. Dejemos entonces que los investigadores, al igual que los detectives y los músicos, se destaquen por sus descubrimientos y sus obras.

REFERENCIAS

1. CLAVERO, M. 2010. Unfortunately, linguistic injustice matters. Trends in Ecology & Evolution, 26: 156-157.         [ Links ]

2. FARJI-BRENER, A.G. 2012. El valor de tener muchas citas. Ecología Austral, 22: 215-220.         [ Links ]

3. LAWRENCE, P. 2007. The mismeasurement of science. Current Biology, 15: R583-585.         [ Links ]