SciELO - Scientific Electronic Library Online

 
vol.23 número1Enramado y riego como alternativas de rehabilitación de regiones semiáridas afectadas por el tendido de ductosTengo una cita: respuesta a Martín Oesterheld índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

  • No hay articulos citadosCitado por SciELO

Links relacionados

Compartir


Ecología austral

versión On-line ISSN 1667-782X

Ecol. austral vol.23 no.1 Córdoba ene./abr. 2013

 

DEBATES

El valor de tener muchas citas. Un comentario

The importance of being cited. A comment

 

Martín Oesterheld

IFEVA, Facultad de Agronomía, Universidad de Buenos Aires/Conicet Buenos Aires, Argentina mail: oesterhe@agro.uba.ar

Editora Asociada: Ana Cingolani

Recibido: 8 de enero de 2013;
Fin de arbitraje y aceptación: 28 de febrero

Palabras clave: Calidad; Evaluación académica; Factor de impacto; Investigación; Política científica

Keywords: Academic evaluation; Impact factor; Quality; Research; Science policy

 

Farji-Brener (2012) cuestionó el valor del número de citas como un indicador de la calidad de un trabajo científico y de un investigador. Concuerdo con él en que no es un indicador perfecto, pero creo que su texto exagera las limitaciones. La exageración radica en el uso de la analogía con la actividad artística, que toma de Lawrence (2007), y en las conclusiones que extrae de algunos hechos indiscutibles.

¿PARA QUIÉN CANTO YO ENTONCES?

En relación con la analogía, Lawrence (2007), citado por Farji-Brener (2012), dice "Es gracioso imaginarse a los músicos evaluados como actualmente lo somos los científicos. Una comisión de expertos contaría el número de canciones compuestas y evaluaría su calidad de acuerdo a la estación de radio adonde las pasan (estaciones, a su vez, valoradas por cuánta audiencia poseen) y por la cantidad de veces que la canción es reproducida. Rápidamente, este sistema vería progresar a aquellos autores de música más comercial por sobre aquellos compositores de otra clase de música. Lo que no es gracioso es que en el mundo real de la ciencia, los criterios dominantes y poco confiables de evaluación (como índices de impacto y número de citas de un artículo) están dominando las mentes, deformando comportamientos y determinando carreras". Y Farji-Brener amplía: "Imaginémonos un mundo en el que a los escritores se los evaluara sólo por la editorial donde publican sus obras (editoriales calificadas, a su vez, por la cantidad de ventas) o por la cantidad de lectores que leen sus libros. O un mundo en donde a los actores se los valorara por la capacidad de espectadores del teatro adonde actúan o por la cantidad de público que presencia sus obras. O un mundo en el cual los directores de cine fuesen principalmente juzgados según el estudio cinematográfico donde filmaron (estudios valorados, a su vez, por la cantidad de películas producidas por año) y por el tiempo que sus películas se mantuvieron en cartel."

Esta analogía no refleja el mundo de la actividad científica. Esta otra lo refleja mejor: Un grupo muy numeroso de detectives intentan resolver un crimen. Cada detective dedica un tiempo a buscar nuevas pistas y otro tiempo a revisar las pistas recogidas por otros detectives que trabajan en el mismo caso. Los detectives son muchos y muy prolíficos, razón por la cual deciden organizarse y nombrar a ciertos detectives a revisar las pistas aportadas por el resto y depositarlas en cajas si les parecen valiosas o devolverlas si no lo son. Algunos de estos detectives revisores son muy exigentes. Solo pasan a su caja las pistas que aportan sensibles novedades, que fueron tomadas mediante métodos rigurosos y que parecen poder conducir a la resolución del caso. Otros son menos estrictos y pueden poner en su caja pistas de menor novedad, de dudoso origen y de improbable vinculación con el caso. Como dije, los detectives "de campo" salen a buscar pistas durante parte del día y a mirar las pistas que están en las distintas cajas durante el resto de su día laboral. Las pistas que traigan al día siguiente podrán ser totalmente originales o podrán estar basadas en algunas de las consultadas en días anteriores. En este último caso, al entregar su nueva pista el detective debe declarar los nombres de los detectives en cuyas pistas se basó para llegar a esta que entrega.

La jefatura del cuerpo necesita evaluar a los detectives. ¿Los evaluará por el número de horas trabajadas, por el número de pistas aportadas o por el número de veces que sus pistas fueron usadas por otros detectives? Y, una vez que el caso sea resuelto, ¿tendrá en cuenta solo al detective que atrapó al criminal o también le podrá interesar seguir la cadena de pistas sobre la que este se basó y los detectives que aportaron a esa cadena? Si los evaluara por las horas trabajadas se aseguraría tener personal muy activo pero no necesariamente productivo. Si los evaluara por el número de pistas podría favorecer la acumulación de pistas falsas o intrascendentes. Si en cambio los evaluara por el uso que otros detectives hicieron de las pistas generadas y por la medida en que sus pistas aportaron a la resolución del caso promovería a los detectives más capaces de indagar y comunicar sus hallazgos.

Yendo a la analogía de la música, los científicos no escribimos música para oyentes "consumidor final". La escribimos para otros músicos, que a su vez buscan tomar de nuestra música algunas piezas melódicas para ir creando su obra. Se puede imaginar a la comunidad de músicos colaborando para componer una obra maestra. Cada uno va escribiendo melodías y a su vez ensamblando las melodías propuestas por otros. En ese caso, resulta interesante conocer la medida en que las melodías de un músico determinado llegaron a ser incorporadas a la obra maestra o fueron descartadas o apenas notadas.

Creo que la analogía de Lawrence (2007) no conduce bien a este debate. La analogía del cuerpo de detectives o la del conjunto de músicos escribiendo en colaboración una pieza reflejan mejor la actividad científica y hacen aparecer como razonable que el número de citas que recibe un trabajo diga algo de su calidad. Lo dice de manera imperfecta, borrosa, pero lo dice.

VIRTUDES Y DISTORSIONES

Farji-Brener (2012) puntualiza con precisión debilidades de la evaluación del trabajo y de los investigadores a partir del análisis de citas. Los argumentos son variados y muy valiosos, pero merecen un tratamiento algo más balanceado. El primer argumento es que los trabajos no son citados por su calidad intrínseca sino por su pertinencia debido a que la apabullante cantidad de trabajos sobre un tema impide que el autor seleccione por calidad los que va a citar. Es cierto que muchos buenos trabajos pasan inadvertidos. Pero ¿cómo llega un trabajo a ser citado? En primer lugar, su título tiene que haber sido leído. Para ello, tiene que haber aparecido en algún medio que el lector frecuenta. Debido a la falta de tiempo, leemos solo unas pocas revistas o revisamos unas pocas páginas de los resultados de nuestras búsquedas electrónicas. Excepto cuando estamos buscando algo que identificamos de antemano como raro, solemos ir a los sitios de encuentro más reconocidos.

Para que un trabajo aparezca en uno de esos sitios, lo primero que debe pasar es que su autor crea en él. La gran mayoría de los trabajos que aparecen en revistas poco conocidas no llegaron allí por cientos de rechazos que los fueron llevando desde la cumbre hacia abajo sino porque sus propios autores pensaron que allí pertenecía. Pensaron que su calidad no era tan alta, ya sea porque no lo era o porque no conocían que lo era. Después el trabajo debe ser aceptado por ese detective revisor que busca atraer a los detectives faltos de tiempo a leer pistas en su caja. A veces la pista clave termina en una caja de poco renombre por las múltiples vías de error que tiene el sistema. Pero, en promedio, y de esto se trata todo, de evaluaciones masivas que miran un conjunto, aquellos trabajos en los que su autor creyó y los evaluadores creyeron terminan en los lugares más reconocidos por el resto de los autores. Otros, que tenían el apoyo inicial de su autor, pero no el de los revisores, terminan en lugares con menor visibilidad. El resultado de este proceso es que nosotros detectives tendemos a encontrar, en promedio y con muchas excepciones, mejores pistas en ciertas cajas. Si las revistas tienen diferentes requisitos de calidad, que los trabajos aparecidos en revistas de mayor calidad sean más citados es más una reafirmación de que las citas reflejan calidad que un cuestionamiento.

El segundo argumento utilizado por Farji- Brener (2012) es que los trabajos de revisión reciben más citas que los trabajos que tratan temas más específicos. El de los trabajos de revisión es solo un caso de los tantos que determinan que un trabajo sea más citado que otro. Sucede algo parecido con los trabajos metodológicos, los de las disciplinas más pobladas de científicos o los de los autores con renombre. Es sabido que la comparación de trabajos o de autores a partir de las citas debe tener en cuenta el contexto. El caso de los trabajos de revisión es quizás, dentro de todas estas distorsiones, el que introduce un sesgo menor. Los detectives con escaso tiempo para leer pistas, agradecen con euforia el hallazgo de un buen trabajo de revisión que les ahorre inspeccionar pista por pista y les permita salir rápidamente a la calle a buscar más. Además, un trabajo de revisión no es sinónimo de muchas citas. Por ejemplo, los 33 trabajos publicados en Annual Reviews of Ecology, Evolution and Systematics en 2007 fueron citados de manera muy variada (Scopus enero 2013): el más citado tuvo 195 citas y el menos tuvo 6. Es decir, se pueden hacer revisiones de variado impacto. Un indicador de que el sesgo por los trabajos de revisión no es tan serio es que no parece haber sobreabundancia de ellos. Y quizás no sobreabunden porque es realmente difícil escribir buenos trabajos de revisión. Requiere lo que en mi opinión más falta entre los investigadores: un acabado conocimiento de una parte importante de la disciplina. Por todo esto, uno o más trabajos de revisión muy citados son un elemento interesante para evaluar en el curriculum de un investigador, sobre todo si ya lleva unos años trabajando.

El tercer argumento esgrimido por Farji- Brener (2012) es que el número de citas no refleja el impacto real de un trabajo: algunos trabajos impactan fuertemente sobre la comunidad de lectores, pero no son citados; otros pasan un largo tiempo de latencia antes de ser notados y citados. Estoy de acuerdo con este argumento en términos generales, pero es raro que un trabajo científico impacte sobre la comunidad científica y ese impacto no se demuestre en citas. En cambio, sí es frecuente que artículos de opinión, de divulgación, de política científica tengan un gran impacto sobre sus lectores y no sean profusamente citados. Y es valioso que los científicos escribamos ese tipo de artículos. En cuanto al tiempo de latencia del impacto, ha sido discutido mucho y hay casos contundentes que lo demuestran y hacen que deba ser tenido en cuenta cuando se analiza un trabajo o un investigador por el número de citas. En algunos casos, el tiempo de latencia se debe a que el mismo autor no comprendió la importancia del trabajo y lo escondió publicándolo en algún lugar difícil de hallar y en otros casos se debe a que la comunidad no estaba preparada para recibir algo tan importante. Es por esto que la capacidad de comunicar en su sentido más amplio es un elemento crítico de un investigador.

Finalmente, el cuarto argumento de Farji- Brener (2012) es una compilación de varios aspectos muy tratados en la literatura y con los cuales uno no puede estar en desacuerdo (se citan más los trabajos que apoyan nuestros resultados, los escritos en inglés, los escritos por quienes tienen al inglés como lengua materna, los más recientes, los de ciertos autores de renombre). El tema del uso del idioma inglés ha sido debatido hasta el cansancio. Pero pondré un argumento que seguramente resulte antipático, pero es válido. Imaginemos dos artículos idénticos en todo excepto en que uno está escrito en un perfecto inglés y el otro en un inglés defectuoso que dificulta la comprensión. ¿Tienen la misma calidad? No, el primero tiene más calidad que el segundo y será seguramente más citado, lo cual reflejará esa diferencia de calidad. Uno puede quejarse por la injusticia de que el lugar de nacimiento y crianza del autor determine la calidad de un trabajo, pero por más que nos quejemos los dos trabajos seguirán teniendo diferente calidad e impacto. Tampoco concuerdo con que sea un problema que se citen trabajos que no han sido leídos en su totalidad. Para citar algo de un trabajo, el autor debe haber leído lo que está citando, pero no creo que haga falta haber leído absolutamente todo el trabajo.

CONCLUSIÓN

Los trabajos que se publican dentro de una misma disciplina tienen enormes diferencias de calidad. Esa diversa calidad está dada por la originalidad y la amplitud temática de las preguntas abordadas, el rigor con que se las abordó, la claridad con la que se las pudo responder, las consecuencias que tales respuestas tuvieron sobre el cuerpo de conocimiento y sobre la sociedad y la forma en que todo esto llegó al lector a través de una comunicación efectiva. Los trabajos científicos son destinados a lectores que a su vez son autores de trabajos científicos. Como lectores, los científicos estamos limitados por el tiempo para leer la inmensidad que se nos ofrece para leer. Por lo tanto, estamos ávidos de calidad. Como autores, estamos ávidos de lectores porque nuestro trabajo sirve si alguien lo lee y lo transforma en algo útil. Por lo tanto, de un trabajo aparecen entonces como un indicador imperfecto pero nada despreciable de lo que la comunidad de científicos hizo con ese trabajo. El número de citas de un trabajo se parece bastante al concepto evolutivo de fitness. Quienes dejan más descendientes para las generaciones futuras pueden no ser los "mejores" en todos los aspectos, pero no hay dudas de que fueron los mejores en dejar más descendientes. Si como investigadores queremos aportar significativamente a la comunidad científica deberíamos prestar atención al fitness de nuestros trabajos y un indicador importante pero no único ni perfecto de ese fitness es que nuestro trabajo sea citado por otros y estos a su vez por otros. Si como conductores de la política científica queremos tener un cuerpo de investigadores que resuelva problemas complejos y relevantes deberíamos prestar atención a las citas que reciben los investigadores.

Pero no debemos caer en la distorsión de mirar solo las citas o hacer un culto del ranking. No debemos olvidar que trabajamos para resolver problemas científicos, no para jugar a un juego de citas y factores de impacto. El artículo de Farji-Brener (2012) es un buen llamado de atención contra esas distorsiones. Pero, juzgadas apropiadamente, las citas que recibe un investigador son un indicador, no el único, de su impacto sobre la comunidad científica. Otro indicador, llamativamente poco utilizado, es preguntarle al investigador lo que tempranamente me preguntó uno de mis hijos cuando comenzó a entender mi trabajo: "Pa, ¿qué descubriste?" Un texto de 300 palabras en las que un investigador conteste esta pregunta, jerarquizando la respuesta de acuerdo a su protagonismo en los trabajos de colaboración, puede ser más revelador que una lista de publicaciones y factores de impacto.

BIBLIOGRAFÍA

1. FARJI-BRENER, A.G. 2012. El valor de tener muchas citas. Ecología Austral 22:215-220.         [ Links ]

2. LAWRENCE, P.A. 2007. The mismeasurement of science. Current Biology 15:R583-585.         [ Links ]

Creative Commons License Todo el contenido de esta revista, excepto dónde está identificado, está bajo una Licencia Creative Commons