Los procesos de evaluación de los artículos científicos

Evaluation processes of scientific papers

Susana Romanos de Tiratel

Los abordajes tradicionales para establecer la calidad de los trabajos publicados se basan sobre el examen humano, incluyendo en este la revisión por pares o arbitraje (peer review o refereeing), el control editorial y la selección decidida por bibliotecarios.
Los investigadores de cualquier disciplina aceptan la revisión por pares como un  filtro necesario porque controla la calidad y certifica los contenidos de las publicaciones científicas cuyo número se incrementa día a día, y cuya difusión se encuentra muy facilitada por las nuevas tecnologías. Sin el debido arbitraje, nadie sabría a ciencia cierta dónde iniciar la lectura en el fárrago de los trabajos nuevos informados permanentemente, ni qué vale la pena estudiar ni dónde depositar la confianza para fundamentar la propia investigación.
El arbitraje o revisión por pares varía mucho respecto de su efectividad para establecer la exactitud y el valor de la investigación. No tiene los mismos efectos en revistas con poco reconocimiento porque recién inician su recorrido para cimentar y fortalecer su reputación, ni es igual para trabajos en campos experimentales que para las disciplinas sociales o humanísticas. A pesar de todo, este sistema permanece como un paso obligado mediante el cual se mide la calidad del conocimiento difundido.
En el caso concreto de Información, cultura y sociedad  nos sería imposible pensar otra forma de evaluación, al menos en el presente, porque existe un reglamento para cualquiera de las revistas especializadas de la Facultad de Filosofía y Letras (Universidad de Buenos Aires) que exige la evaluación externa de los artículos presentados y, cuando se dice externa implica que a ninguno de los miembros del Comité de Redacción se le permite hacerla, incluidos la directora o editora científica y el secretario de redacción. Sí pueden llevarla a cabo quienes integran el Comité Asesor de la revista, cuya lista se incluye en cada fascículo semestral y otros expertos identificados como especialistas en alguno de los tópicos presentados por los autores.
Los lectores y futuros colaboradores pueden preguntarse cómo transcurre el proceso de arbitraje de los artículos. Por lo general, los trabajos llegan a la secretaría de la revista por correo electrónico como archivos adjuntos. Previo a la remisión, los autores más prudentes y minuciosos revisan un número reciente de la revista y leen las instrucciones que pautan las presentaciones y cualquier otro material relevante en el sitio Web de la publicación. Luego de enviar un acuse de recibo del manuscrito, el Comité de Redacción selecciona a los expertos en el tema y les envía copia del trabajo, junto con el formulario para los evaluadores (Información, cultura y sociedad, 2006).
Los árbitros, que no conocen la identidad de los autores ni estos la de los árbitros, juzgan el artículo sobre la base de sus méritos tanto de fondo como de forma, examinan la adecuación de la formulación del problema con los procedimientos metodológicos elegidos para encontrar una solución, la exactitud y validez de los datos recolectados así como de la bibliografía citada, la coherencia en la interpretación y en la discusión, la viabilidad de las conclusiones, la precisión del estado de la cuestión y la pertinencia del marco teórico, así como la claridad de la redacción y de la representación gráfica.
Los evaluadores están en libertad de hacer todas las recomendaciones y correcciones que crean oportunas para, finalmente, decidir aceptar el artículo sin cambios sustantivos, proponer revisiones y correcciones al autor o rechazarlo por carecer de las cualidades exigidas a un trabajo científico. Cuando los artículos se revisan el árbitro puede dejar el control de las correcciones en manos de los editores de la revista o, en su defecto, el manuscrito vuelve a otra ronda de arbitraje.
Además, en el caso de Información, cultura y sociedad, antes de su publicación, los manuscritos son corregidos y normalizados, y se controlan las referencias bibliográficas tanto para que coincidan con las normas adoptadas por la revista como para verificar la exactitud y precisión de la cita.
En el caso de nuestra revista, como publicación de la Facultad de Filosofía y Letras (UBA), debe someterse aún a otra evaluación, la del Consejo Editor -integrado por profesores, graduados y alumnos de distintas especialidades con algún tipo de experiencia editorial— que se reúne mensualmente y garantiza el cumplimiento de ciertas directivas que preservan la calidad de las revistas especializadas; por ejemplo, un mismo evaluador no puede arbitrar más de un artículo por número; no puede ser autor de un artículo en ese fascículo y, al mismo tiempo, valuar otro; los arbitrajes deben ser claros, precisos y lo suficientemente explícitos como para orientar a los investigadores cuando se aconseja modificar el trabajo o se aprueba sin más la presentación. También analiza otros aspectos más formales como el número de páginas y el equilibrio entre las diferentes secciones de la revista.
Sin embargo, tal como notan Peter Hernon y Candy Schwartz durante años han persistido cuatro preguntas sobre la revisión por pares:

1. ¿Los árbitros pueden estar errados en sus juicios?
2. ¿Son realmente objetivos cuando emiten sus juicios?
3. ¿Están dispuestos a aceptar ideas nuevas?
4. ¿A pesar del arbitraje, los autores son capaces de incurrir en malas conductas (plagio, falsificación o fabricación) y publicar investigación dudosa o cuestionable? (Hernon y Schwartz, 2006)

Los árbitros son personas que se equivocan y que pueden ser subjetivas. Muchas de las críticas al sistema de revisión por pares indican que, en general, los juicios tienden a ser conservadores o, por lo menos, poco receptivos respecto de ideas y abordajes novedosos. Aun cuando el arbitraje externo parece hoy en día una característica insoslayable de la revista científica, su existencia es breve, data de mediados del siglo pasado. Antes su aplicación era más bien laxa. Por ejemplo, los revolucionarios artículos de Albert Einstein publicados en 1905 en los Annalen der Physik no fueron arbitrados. El editor de la revista, Max Plank, reconoció la virtud de esas ideas aparentemente extravagantes y, simplemente, publicó los trabajos sin enviarlos a evaluar; la decisión fue tomada en forma exclusiva por el director o por el co-editor Wilhelm Wien, indiscutibles 'pares' pero que, a los ojos de la concepción actual, no satisfacían los parámetros hoy aceptados del juicio de los pares. Eran épocas que daban a los autores mucha libertad después de su primera publicación y en las cuales la carga de la prueba descansaba en los oponentes más que en los proponentes de nuevas ideas.
Al reflexionar sobre la cuarta pregunta no podemos dejar de mencionar los últimos fraudes publicados que escandalizan y angustian a la comunidad científica. En este sentido recomiendo la lectura de un breve informe especial de Emma Marris, publicado en Nature en febrero de este año. Comparto muchas de las ideas que se exponen en relación con la imposibilidad que, en muchos casos, tienen los evaluadores para detectar el plagio, la falsificación o la fabricación de pruebas y de datos, por ejemplo, el montaje fotográfico de los experimentos de laboratorio. Además de imposibles, serían procedimientos carísimos, dado que las pruebas estadísticas pueden detectar datos falsos pero es impracticable controlar cada artículo remitido. La responsabilidad mayor recae en la institución donde trabajan los investigadores o en la agencia que subsidia sus proyectos  (Marris, 2006).
En mi opinión es importante que tomemos conciencia de los cambios que se han empezado a introducir en el proceso de transferencia de la información especializada o de la comunicación científica. Nuevos escenarios y propuestas están confrontando al tradicional sistema de revisión por pares. Existe la posibilidad cierta de ampliar esta modalidad incluyendo a más personas, tal como se hace en las iniciativas de los archivos de acceso gratuito donde muchos especialistas pueden aportar sus puntos de vista y sus críticas a los documentos depositados. En este caso, los revisores son voluntarios y, por lo tanto, su selección es azarosa; de este modo, el proceso se vuelve transparente y auto-correctivo porque está en línea a disposición de todos y la retroalimentación es dinámica (Harnad, 2003).
También se puede pensar en abandonar por completo el proceso. En nuestro campo, por ejemplo, existe una revista electrónica muy bien posicionada, a la que recurren profesionales y académicos interesados en los temas de las bibliotecas digitales, D-Lib Magazine, donde las decisiones para seleccionar artículos las toma un pequeño grupo de editores que confían en su propia experticia para decidir qué materiales publicar. No hay evaluación externa. La calidad de la publicación depende del juicio del comité de redacción y de su éxito en alentar a los autores para que envíen material de buena calidad. Cuando un investigador elige publicar en esta revista, opta por los beneficios de una aparición rápida (dos semanas desde la recepción del trabajo), gran cantidad de lectores y una reputación establecida.
Opino que es algo ingenuo pensar que los materiales evaluados por pares externos son superiores a aquellos cuya calidad la determina el equipo editorial. Cuando un colega elige leer un título determinado lo hace por la confianza que le inspiran las personas responsables de su elaboración y compilación, por la institución a la que pertenece la revista y no tanto por la calidad o la fama de los evaluadores que, a pesar de su importancia, en cierto sentido, se desdibujan en el producto final. Una tarea irrenunciable es la de evitar que todo el proceso se transmute de una exigencia académica a una formalidad administrativa donde los organismos de evaluación nacionales -así como a los extranjeros- prefieran, sin mayor reflexión cualitativa, contabilizar la producción científica mediante parámetros fijos, sin detenerse a considerar cada situación en particular. Por supuesto que una revista científica debe transparentar su modo de seleccionar artículos, pero no siempre se procede de acuerdo con las reglas enunciadas. Del mismo modo que existen supercherías y fraudes en el envío de artículos, igual sucede con los equipos editoriales o los directores de publicaciones especializadas. La disyuntiva ética se nos presenta a quienes cumplimos con los estándares y conocemos estas acciones deshonestas, dado que en nuestro medio no está socialmente aceptada una denuncia de este tipo.
Como profesora universitaria he tratado de ser siempre muy cuidadosa respecto de las recomendaciones de libros, revistas, sitios Web, etc., transmitidas a mis alumnos porque entiendo que, de algún modo, a pesar de los esfuerzos por desarrollar su espíritu crítico, los estudiantes confían en el juicio de sus maestros. A medida que ellos mismos van desarrollando su propia experticia incorporan esas sugestiones recibidas y las van pasando a otros colegas. Siguiendo nuestras propias experiencias, estas observaciones respecto de la calidad se vuelven parte de la reputación de las revistas. Los lectores intuyen que existe un proceso riguroso detrás del producto que tienen en la mano pero lo que incorporan es la persistente calidad a través del tiempo asegurada por un Comité de Redacción consciente de su trabajo y obsesivo en los detalles.
El éxito de las revisiones voluntarias muestra que el agregado sistemático de las opiniones de individuos desconocidos puede brindar información valiosa sobre la calidad de la información. En realidad, este concepto acuñado con el sostén de Internet no hace más que reproducir otro que se desarrolla detrás de las mediciones de los patrones de cita; en este sentido, el tan conocido análisis de citaciones fue un pionero, ahora el PageRank de Google retoma la idea con las páginas Web. Los presupuestos son los mismos: si un ítem es referido por muchos otros, entonces es probable que, de algún modo, sea importante, aun cuando la importancia no garantice alguna forma de calidad pero, en la práctica, los artículos muy citados tienden a ser buenos y las páginas Web que PageRank coloca en los primeros lugares de la lista también suelen ser buenos (Google, 2006).
Mientras el mundo académico se modifica lentamente, los nuevos modelos de comunicación científica y del proceso de revisión por pares intentan cambiar modalidades en pro de una democratización del conocimiento generado mediante la investigación. Sin embargo, no faltan quienes sostienen que los campos disciplinarios se están cerrando y que las nuevas tecnologías sólo reconstruyen el capital social dentro de la Ciencia de un modo elitista y viable únicamente para economías desarrolladas. De este modo, se falla cuando no se analiza la naturaleza sociológica de las negociaciones futuras para controlar los canales de la comunicación científica de los que forma parte el movimiento del acceso abierto (Valsiner, 2006).
Los méritos del proceso de revisión por pares son muchos, uno de los más evidentes es que son una parte muy importante del sistema de control de calidad del conocimiento científico. Su eficiencia y efectividad deberían interesarnos a todos nosotros. Cuando una evaluación está bien hecha, el autor madura y mejora su trabajo. Si el evaluador no conoce la identidad del autor no se siente influido en sus juicios por la fama o el peso de un nombre, puede sospechar la autoría pero nunca estará del todo seguro. Del mismo modo, el autor, sin importar su nivel o importancia relativa en la disciplina, será cuidadoso a la hora de remitir su trabajo porque sabe que su reputación no necesariamente pesa a la hora de arbitrar el contenido de su artículo. Esta es para mí una regla de oro que se pierde cuando se recurre a los revisores voluntarios subiendo un preimpreso a un archivo de acceso abierto, sobre todo en las disciplinas de Ciencias Sociales, donde estudiosos y aficionados parecen compartir sin problema los espacios de la producción científica y donde las divergencias teóricas y subjetivas tienen un peso importante.
No podemos negar que las revistas cambian permanentemente y, del mismo modo, debemos mutar nosotros. Las promesas de las tecnologías electrónicas en línea abren nuevas perspectivas de acceso y de comunicación vía Internet, facilitan los contactos entre autores, editores, evaluadores y lectores, pero lo que siempre permanece y perdura son los procesos que generan los conocimientos y los evalúan para permitir que la sociedad los usufructúe y se apropie de ellos en un espiral recursivo que, no por rutinario y usual debe dejar de admirarnos.

Referencias bibliográficas

1. Google. 2006. ¿Por qué usar Google? <http://www.google.com/intl/es/why_use.html> [Consulta: 1 junio 2006].

2. Harnad, Stevan. 2003. Online Archives for Peer-Reviewed Journal Publications. En International Encyclopedia of Library and Information Science. John Feather & Paul Sturges, ed. Routledge.  <http://www.ecs.soton.ac.uk/~harnad/Temp/archives.htm>  [Consulta: 31 mayo 2006].

3. Hernon, Peter y  Candy Schwartz. 2006. Peer review revisited. En Library & Information Science Research. Vol. 28, no. 1, 1-3.

4. Información, cultura y sociedad. 2006. Formulario para evaluadores. Buenos Aires: Facultad de Filosofía y Letras, Instituto de Investigaciones Bibliotecológicas. <http://www.filo.uba.ar/contenidos/investigacion/institutos/inibi_nuevo/ICSform_eval.htm>  [Consulta: 4 junio 2006].

5. Marris, Emma. 2006. Should journals police scientific fraud? En Nature. Vol. 439, no. 7076, 520-521.

6. Jaan Valsiner. 2006. «Open Access» and its Social Context: New Colonialism in the Making? En Forum Qualitative Socialforschung/ Forum: Qualitative Social Research. Vol. 7, no. 2, art. 23. <http://www.qualitative-research.net/fqs/> [Consulta: 31 mayo 2006].