SciELO - Scientific Electronic Library Online

 
 número14Los procesos de evaluación de los artículos científicosPrácticas y representaciones bibliotecarias en la Biblioteca Pública de Buenos Aires: Una lectura del libro de "Cargo y data" (1810-1818) índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Artigo

Indicadores

  • Não possue artigos citadosCitado por SciELO

Links relacionados

  • Em processo de indexaçãoCitado por Google
  • Não possue artigos similaresSimilares em SciELO
  • Em processo de indexaçãoSimilares em Google

Bookmark


Información, cultura y sociedad

versão On-line ISSN 1851-1740

Inf. cult. soc.  n.14 Ciudad Autónoma de Buenos Aires jan./jun. 2006

 

La evaluación de revistas científicas en Ciencias Sociales y Humanidades

Evaluation of scientific journals in Social Sciences and Humanities

Ángel Borrego y Cristóbal Urbano

Universidad de Barcelona, Facultad de Biblioteconomía y Documentación, Melcior de Palau, 140, 08014 Barcelona, España.Correo electrónico: borrego@ub.es ; urbano@ub.es

Resumen: Se analiza el papel de la evaluación de revistas científicas en los procesos de valoración de la investigación desarrollada por personas e instituciones, prestando un especial interés a los títulos de Ciencias Sociales y Humanidades. En primer lugar, se examinan las dificultades de aplicación, en estas disciplinas, de métodos bibliométricos de repercusión basados en el análisis de citas con datos obtenidos de las bases de datos de Thomson Scientific (ex ISI). A continuación se examinan los proyectos de creación de índices de citas alternativos, y los principales repertorios de revistas desarrollados a partir de la aplicación de otros métodos de evaluación como el arbitraje por pares, el análisis de la calidad editorial o la determinación de la difusión de los títulos.

Palabras clave: Revistas científicas; Evaluación; Ciencias Sociales; Humanidades.

Abstract: The article analyzes the role of the evaluation of scientific journals in the process of the evaluation of the research performed by individuals and institutions. Special attention is paid to social sciences and humanities journals. Firstly, the difficulties in the application of bibliometric methods based on citation analysis with data obtained from Thompson Scientific (ex ISI) are studied. Secondly, we describe several projects for the creation of alternative citation indexes and the main collection of journals developed from the application of other evaluation methods such as peer evaluation, editorial quality analysis or journals' diffusion.

Keywords: Scientific journals; Evaluation; Social Sciences; Humanities.

Artículo recibido: 05-04-06.
Aceptado: 11-04-06

1. Introducción: la evaluación de la investigación y la evaluación de las revistas

El gran interés existente en la evaluación de las revistas científicas está justificado por el hecho de que son, en numerosas disciplinas, el principal vehículo utilizado por los investigadores para dar a conocer los resultados de sus estudios. De este modo, la evaluación de las revistas constituye un factor determinante en los procesos de valoración de la actividad investigadora de individuos e instituciones.
Sin embargo, uno de los principales problemas, que deriva de la realización de evaluaciones basadas en la premisa que acabamos de exponer, es la tendencia a equiparar la calidad de un artículo con la calidad de la revista donde aparece publicado. Así, es muy habitual trasladar la visibilidad de una revista -medida, por ejemplo, a través de su factor de impacto- a todos y cada uno de los artículos que se publican en ella. Se trata, obviamente, de una equiparación incorrecta por cuanto no todos los textos aparecidos en una publicación tienen la misma calidad. Al menos en teoría, un artículo de bajo nivel publicado en una revista de elevado impacto debería tener una consideración menor que un buen artículo aparecido en un título de escasa repercusión. Sin embargo, como afirman Bence y Oppenheim (2004: 63), en demasiadas ocasiones los evaluadores utilizan la imagen de una revista como un indicador de calidad para fundamentar las decisiones de evaluación de artículos individuales.
Al mismo tiempo, también es cierto que publicar en una revista prestigiosa es más difícil -o debería serlo- que hacerlo en un título de menor consideración. Las revistas con mayor reputación en su ámbito de conocimiento reciben más originales y, por tanto, pueden realizar una selección más estricta de los artículos que publican. Incluso teniendo en cuenta las limitaciones que a menudo se atribuyen al sistema de revisión por pares, cabe intuir que aquellos títulos que gozan de un mayor prestigio pueden efectuar un proceso de selección más riguroso, por lo que el hecho de superarlo resulta indicativo del interés de un determinado trabajo.

2. El análisis de citas en la evaluación de revistas: un método tan extendido como criticado

La mayor parte de las instancias dedicadas a la evaluación de la investigación -al menos en España y parece que de manera similar en otros países (Senglen, 1997)- está cada vez más inclinada a trabajar según el modelo consistente en la medición del impacto de las revistas -y de los autores e instituciones que publican en ellas- en función de las citas que reciben. Para llevar a cabo este tipo de análisis, generalmente se recurre a las bases de datos de citas del Institute for Scientific Information (actualmente Thomson Scientific, http://www.isinet.com): Science Citation Index (SCI), Social Sciences Citation Index (SSCI) y Arts & Humanities Citation Index (AHCI). A estas bases de datos hay que añadir el Journal Citation Reports (JCR), que anualmente publica dos ediciones con los datos de factor de impacto de una selección de revistas de Ciencias Exactas y Naturales, por un lado, y de Ciencias Sociales, por otro.
Este modelo de evaluación, que durante los últimos años se ha convertido en un estándar de facto, no está exento de críticas (véase, por ejemplo, la polémica entre Spinak y Garfield, 1996, o los artículos de Camí, 1997, y Dong, Loh y Mondry, 2005). Las críticas se refieren a tres cuestiones fundamentales: las limitaciones de cobertura y exactitud de las bases de datos del ISI, la metodología empleada para el cálculo del factor impacto, y la incorrecta interpretación de este indicador.
El primer inconveniente que se atribuye a la utilización de las bases de datos de Thomson Scientific para la realización de estudios bibliométricos radica en las lagunas de cobertura y en las inexactitudes en la información recopilada por esta herramienta. Las principales críticas se refieren a las siguientes cuestiones:

  • Las bases de datos del ISI únicamente incluyen contenidos de revistas dejando de lado materiales como las monografías, las actas de congresos o los informes, que son de gran relevancia en el proceso de comunicación de los resultados de la investigación en algunas disciplinas.
  • Incluso si nos limitamos al caso de las revistas, hay que tener en cuenta que éstas publican diferentes tipos de documentos: sobre todo artículos originales, pero también revisiones bibliográficas, notas, cartas al director, etc. A pesar de que el ISI contabiliza todas las citas para el cálculo del factor impacto -independientemente del tipo de documento citado de que se trate-, sólo considera documentos citables a los artículos, las revisiones y las notas breves (ISI, 2005). Esta decisión tiene tintes polémicos, especialmente teniendo en cuenta los distintos hábitos de citación existentes en diferentes disciplinas. Así, hay documentos -como las cartas al director- que en determinados ámbitos son ampliamente citados, mientras en otros presentan un interés tangencial y apenas tienen repercusión en forma de citas.
  • Otra crítica habitual a las bases de datos del ISI como fuente de información en estudios bibliométricos radica en los errores que a menudo se observan en el vaciado de los datos, sobre todo en la identificación de autores e instituciones, especialmente aquellos ajenos al ámbito anglosajón.
  • Finalmente, pero no por ello menos importante, hay que tener en cuenta las críticas a la desigual cobertura de las revistas en función del área geográfica e idioma en que se publican, con una clara sobrerepresentación de los títulos anglosajones, especialmente americanos. Si este desvío puede ser importante en ciertas disciplinas de las Ciencias Exactas y Naturales, tiene una especial repercusión en las Ciencias Sociales y las Humanidades, donde por la propia naturaleza de los temas tratados hay una mayor tendencia a publicar en revistas editadas en las lenguas nacionales, que no son indexadas por el ISI. La posición dominante de los científicos anglosajones en determinadas disciplinas no parece justificar el sesgo existente en la selección de títulos, de manera que el porcentaje de títulos incluidos por áreas geográficas no es representativo de su producción científica.

Dejando de lado estos problemas de cobertura y de exactitud en la información aportada, que en última instancia son solucionables con una mayor inversión en el desarrollo de las bases de datos, existe un segundo conjunto de críticas, más de fondo, que afectan a la propia filosofía sobre la que se asienta el análisis de citas. En este sentido, una crítica habitual a la realización de estudios bibliométricos de repercusión de las publicaciones deriva del hecho de que no todas las citas tienen la misma finalidad. Si bien el análisis de citas se basa en la idea de que la bibliografía citada tiene como objetivo fundamental identificar los antecedentes sobre los que se asienta un determinado trabajo, resulta evidente que en ocasiones se cita con otras finalidades. Se puede citar, por ejemplo, para criticar un trabajo -y aunque es cierto que en este caso también se reconoce en cierta medida el valor académico del trabajo fuente, este reconocimiento no se da cuando se cita para denunciar no ya errores sino prácticas fraudulentas- o por razones espurias, por ejemplo, incrementar las posibilidades de publicación citando copiosamente la revista a la que se envía el original o a los autores susceptibles de actuar como evaluadores del trabajo en cuestión.
Al mismo tiempo, las citaciones se ven afectadas por fenómenos como el que Merton denominó "efecto Mateo", la tendencia a citar a los investigadores y revistas más prestigiosos que, de esta manera, tienden a recibir más citas y, por consiguiente, a incrementar en un círculo vicioso su prestigio y las citas que reciben (Merton, 1968). El número de citas recibidas también está relacionado con la propia tipología del trabajo, y existe una tendencia a citar con mayor profusión las revisiones bibliográficas o los trabajos metodológicos. Finalmente, y centrándonos ya en la propia metodología del cálculo del factor impacto -el cociente resultante de dividir el número de citas que reciben en un año dado los trabajos publicados por una revista durante los dos años anteriores entre el total de trabajos citables publicados en ese período-, a menudo se critica el hecho de que el cálculo se limite a las citas otorgadas en un período de dos años, considerado excesivamente breve. Si bien se entiende que éste es un lapso suficiente para que la información circule entre la comunidad de destinatarios del trabajo, de manera que pueda ser usado y citado por estos, se ha de tener en cuenta que el proceso de obsolescencia de la bibliografía científica varía de una disciplina a otra -siendo más lento en Ciencias Sociales y Humanidades-, lo que provoca una mayor vida media de las citas.
Finalmente, hay que destacar que, en demasiadas ocasiones, se hace un mal uso de indicadores bibliométricos como el factor de impacto al que a veces se equipara con la calidad de la publicación y, como hemos visto, de los artículos que publica e, incluso, con la relevancia científica de las aportaciones que aparecen descritas en sus páginas. Así, en demasiadas ocasiones se asume, de forma errónea, que el factor de impacto de una revista es indicativo de la calidad de los trabajos que publica.
En definitiva, el debate sobre la legitimidad y la validez del análisis de citas y la calidad de la principal herramienta empleada para la realización de este tipo de estudios es extremadamente intenso. En realidad, buena parte de este interés deriva de que, como ya hemos comentado, muchas de las instancias dedicadas a la valoración de la investigación trabajan según el modelo consistente en la medición del impacto de las publicaciones en función de las citas que reciben y, a su vez, evalúan a los investigadores y a las instituciones según el canal donde publican. Esta forma de evaluación está teniendo claras repercusiones sobre los hábitos de publicación de los investigadores que, a menudo, no seleccionan las revistas a las que envían sus originales en función del público al que quieren dirigirse, sino en la medida en que esa publicación será potencialmente evaluada en futuros procesos de promoción. Este fenómeno es claramente percibido por los editores de revistas de mayor prestigio, que han detectado un incremento desmesurado en el número de originales recibidos (McCook, 2006).

3. Métodos de evaluación de revistas en Ciencias Sociales y Humanidades

Como consecuencia del interés por la evaluación de las revistas y la inadecuación de los modelos actuales basados exclusivamente en el análisis de citas, durante los últimos años se ha desarrollado una serie alternativa de métodos de evaluación y herramientas que se han aplicado a las revistas que quedan fuera de la cobertura del ISI tanto de Ciencias Exactas y Naturales como, especialmente, de Ciencias Sociales y Humanidades. Al menos, podemos identificar, además de los estudios bibliométricos sobre la repercusión de las publicaciones, otras tres grandes aproximaciones a la evaluación de títulos de Ciencias Sociales y Humanidades: la evaluación por pares, el análisis de la calidad formal de los títulos y la determinación de su difusión.
Revisaremos ahora las posibilidades de utilización de cada uno de estos cuatro métodos y las características de los principales proyectos a los que su aplicación ha dado lugar. Obviaremos la enumeración pormenorizada de los numerosos trabajos individuales desarrollados siguiendo cada uno de estos métodos, para centrarnos en el comentario de las principales bases de datos construidas a partir de estos principios y que se caracterizan por suministrar información actualizada periódicamente sobre revistas de una o varias disciplinas.

3.1 Estudios bibliométricos sobre la repercusión de las publicaciones

El análisis bibliométrico de citas es, como ya hemos visto, el principal criterio empleado en la evaluación de títulos. Los datos bibliométricos obtenidos de las bases de datos Thomson Scientific gozan de un amplio reconocimiento internacional como sustento de la valoración de la investigación en las áreas de Ciencias Exactas y Naturales. No obstante, si, como hemos indicado, su aplicación a estas disciplinas no está exenta de dificultades, éstas se agravan cuando el método se utiliza en Ciencias Sociales y Humanidades.
Recientemente, Nederhof (2005: 83-89) ha resumido las principales características de la investigación en Ciencias Sociales y Humanidades que dificultan la aplicación directa de métodos bibliométricos para la evaluación del conocimiento producido en estas disciplinas:

  • Una orientación más marcadamente nacional y regional, que motiva que los resultados de la investigación aparezcan publicados en revistas, monografías e informes de carácter nacional o regional.
  • Una menor utilización de las revistas como vehículo de publicación en beneficio de los libros que, a su vez, también son más citados.
  • Un desarrollo más lento del corpus teórico de las disciplinas, lo que se refleja en una mayor antigüedad de los documentos citados y, por consiguiente, en una mayor vida media de las referencias.
  • Una mayor tendencia a la investigación individual, frente a la investigación en equipo habitual en Ciencias Naturales, con las consiguientes repercusiones sobre la productividad de los autores, que suele ser superior entre los científicos que trabajan en colaboración.
  • Un mayor porcentaje de publicaciones dirigidas a un público no académico.

En definitiva, aunque durante los últimos años se están aproximando los patrones de comunicación científica entre las Ciencias Exactas y Naturales, por un lado, y las Ciencias Sociales y las Humanidades, por otro, aún existen diferencias importantes que se han de tener en cuenta en la realización de estudios bibliométricos, especialmente si se toman como fuente de los datos las bases de datos del ISI. La realización de estudios bibliométricos en Ciencias Sociales y Humanidades debe considerar, como señala Nederhof (2005), la inclusión de documentos fuente ajenos a los indexados por el ISI -publicaciones periódicas no incluidas en sus índices de citas, monografías, informes y publicaciones dirigidas a un público no académico. Al mismo tiempo, dada la mayor vida media de las referencias resulta conveniente ampliar el marco temporal de la ventana citadora, especialmente en aquellos casos en que se procede a calcular algún tipo de indicador de impacto de las publicaciones.
Otros autores (López Yepes y Ros García, 2003) proponen un análisis no sólo cuantitativo sino, sobre todo, cualitativo de las citas recibidas por un determinado autor con vistas a determinar su aportación a un campo científico.

3.1.1 Creación de índices de citas alternativos a los elaborados por el ISI

Como consecuencia del prestigio del que gozan los productos del ISI en el campo de las Ciencias Exactas y Naturales, y con la finalidad de superar las limitaciones de cobertura que muestran sus índices de citas, existen intentos, cada vez más numerosos, de aplicar la elaboración de índices de citas y de cálculo del factor de impacto tanto a revistas de Ciencias Exactas y Naturales no indexadas por el ISI como a publicaciones de Ciencias Sociales y Humanidades.
Además de los estudios bibliométricos parciales que se publican periódicamente para disciplinas concretas, existen iniciativas, más o menos consolidadas, de desarrollar herramientas susceptibles de actualizarse a intervalos regulares. Este es el caso, por ejemplo, del proyecto para el cálculo del factor de impacto potencial de las revistas médicas españolas  desarrollado por el Instituto de Historia de la Ciencia y Documentación López Piñero (http://ime.uv.es/imecitas/impacto.shtml). En el marco de este proyecto se ha determinado el factor de impacto nacional e internacional de un centenar de revistas biomédicas españolas para los años 2001, 2002 y 2003. El factor de impacto nacional se calcula considerando únicamente las citas que las revistas españolas reciben de un grupo de revistas nacionales, mientras que para el cálculo del factor de impacto internacional se suman tanto las citas procedentes del análisis anterior como las recibidas de otros títulos indexados en el SCI.
De la misma manera que existen herramientas alternativas al ISI para revistas de Ciencias Exactas y Naturales -a pesar de que generalmente se acepta que la cobertura del ISI para estas disciplinas es suficientemente amplia-, también se han intentado desarrollar instrumentos similares en Ciencias Sociales y Humanidades. En este sentido, cabe destacar la presentación en 2002 de un proyecto para crear un índice de citas europeo de Humanidades (ESF, 2002) que aún está en fase de desarrollo. Como ejemplos de proyectos similares desarrollados en España encontramos las bases de datos Modenitas Citas, IN-RECS o RESH. En el primer caso, Modenitas Citas (http://www.moderna1.ih.csic.es/emc/) es una base de datos creada por un grupo de investigadores del Consejo Superior de Investigaciones Científicas de España (CSIC) y de la Universidad Carlos III de Madrid que incluye trabajos relativos al área de Historia Moderna editados en España. Por el momento el análisis se centra en las citas de 16 publicaciones periódicas y en las actas de 13 congresos celebrados en los años 2000 y 2001. Por su parte, la base de datos IN-RECS, índice de impacto de las revistas españolas de Ciencias Sociales (http://ec3.ugr.es/in-recs/), promovida desde la Universidad de Granada, incluye datos de revistas españolas de Biblioteconomía y Documentación, Economía, Educación, Geografía, Sociología y Psicología. En el futuro parece prevista la inclusión de los datos de Antropología, Ciencia Política y de la Administración, Comunicación y Urbanismo. Finalmente, RESH: Revistas españolas de Ciencias Sociales y Humanas: valoración integrada e índice de citas (http://resh.cindoc.csic.es) incluye los cocientes de citas correspondientes a los años 1999-2002 de revistas españolas de 17 disciplinas, así como información sobre la calidad editorial -cumplimiento de los criterios Latindex y de la periodicidad, y existencia de revisores y visibilidad -presencia en bases de datos- de los títulos.
El principal problema de estos proyectos reside en que resultan extremadamente caros. La implementación de una herramienta de este tipo no sólo requiere el desarrollo de la plataforma inicial, sino una inversión continua en personal que actualice periódicamente los contenidos. Desgraciadamente, en demasiadas ocasiones estos planes se elaboran a partir de la financiación obtenida en un proyecto de investigación pero se abandonan cuando éste finaliza.
Por otro lado, un segundo inconveniente que limita la aplicación de estas herramientas en procesos de evaluación de la investigación reside en que todos ellos se centran en el análisis de revistas nacionales, en este caso españolas. Aún admitiendo que éstas sean las destinatarias de una gran parte de la producción de los autores del país, no se puede obviar el hecho de que los investigadores nacionales también publican en títulos extranjeros -o deberían hacerlo en aras de una difusión equilibrada de su producción intelectual. Si bien es cierto que para algunos de estos títulos tendremos otros instrumentos de evaluación -como puede ser su inclusión en el JCR-, nos encontraremos con dos herramientas diferentes, no comparables, para la evaluación de un único conjunto de publicaciones. En este sentido, no se puede olvidar la existencia de un amplio abanico de títulos, editados fuera de los países de origen de los investigadores, que no quedan recogidos en los productos del ISI ni en las bases de datos de revistas nacionales.

3.2 La evaluación por pares

La valoración de los títulos por parte del conjunto de la población de investigadores de la disciplina es también un método ampliamente empleado y durante los últimos años se ha asistido a un cierto apogeo en su utilización para la evaluación de títulos de Ciencias Sociales y Humanidades.
Así, este es el método sobre el que se asientan los estudios que durante los últimos años se vienen realizando en una línea de trabajo dirigida a la determinación de índices de impacto de revistas españolas de Ciencias Sociales y Humanidades a partir del análisis de las revistas mejor valoradas por los pares, y que ha servido como base para el proyecto RESH, ya comentado. La técnica consiste en enviar cuestionarios al conjunto de la población de profesores e investigadores españoles de la disciplina en cuestión para la evaluación de un listado de revistas españolas del área correspondiente. En el cuestionario se pide a los encuestados que clasifiquen en cuatro categorías las revistas que conocen y que añadan y valoren aquellas otras publicaciones no incluidas en el listado original que consideraran de interés (A: Muy buena, fundamental para la disciplina; B: Buena, interesante para la disciplina; C: de Interés general; D: Sin interés para la disciplina). A partir de estos datos se elaboran dos listas, que muestran una relación jerarquizada de los títulos, considerando las categorías "A" y "A+B".
En la misma línea, en el marco del proyecto ERCE: Evaluación de la calidad de las revistas científicas españolas de Humanidades y Ciencias Sociales (http://erce.unizar.es), un grupo de investigadores de la Universidad de Zaragoza (Lamarca et al., 2005) ha desarrollado una encuesta distribuida telemáticamente para la evaluación de títulos de Ciencias Sociales y Humanidades por parte del profesorado universitario. Para un máximo de 10 revistas españolas y 5 extranjeras se ha de puntuar de 0 a 10 los siguientes apartados: grado de uso, actualidad de los contenidos, rigor metodológico, presentación formal y calidad científica general.
En el marco de la iniciativa para la generación de criterios de evolución de la investigación en Humanidades y Ciencias Sociales (CARHUS) 2005-2008 del Departamento de Universidades, Investigación y Sociedad de la Información de la Generalitat de Cataluña, se ha desarrollado un estudio de evaluación de la investigación en estas áreas realizado a través del envío de un cuestionario a 260 investigadores catalanes. Los resultados del estudio ofrecen, entre otros datos, listados de las revistas más valoradas en 13 disciplinas de Ciencias Sociales y Humanidades. Tanto este estudio, como otro bibliográfico y bibliométrico para la identificación y evaluación de revistas (Urbano, 2003), se inscriben en una iniciativa más amplia que ha dado lugar a una propuesta de listas de revistas clasificadas por ámbitos y áreas de conocimiento y ordenadas por niveles -A, B, C ó D-, según unos criterios un tanto ambiguos (http://www10.gencat.net/dursi/ca/re/aval_rec_sist_pc05_llistes.htm).
Fuera del ámbito hispano, otro de los estudios de este tipo más completo es el elaborado en Francia por Jeannin entre 1999 y 2003 (Jeannin, 2003) a petición de la Direction de Recherche del Ministère délégué à la Recherche francés. El método empleado en este trabajo de evaluación de revistas de Ciencias Sociales y Humanidades se estructuraba en dos fases de trabajo: una primera de determinación de los títulos a evaluar, a partir de su presencia en bases de datos reconocidas, y una segunda de realización de una encuesta entre científicos de la disciplina para conocer su opinión sobre el grado de cientificidad de cada una de las publicaciones. El estudio dio como resultado la obtención de listados jerarquizados de títulos en ocho disciplinas de Ciencias Sociales y Humanidades que se pueden consultar vía web (http://www.iut-tarbes.fr/enquete). En este caso, el análisis no se limitaba a revistas francesas o francófonas sino que se incluían títulos a partir del hecho de que estuvieran vaciados en las principales bases de datos de cada disciplina.

3.3 Calidad editorial

Otro índice de la calidad de una revista es su grado de cumplimiento de la normativa nacional e internacional de publicación. Como señala Pérez Álvarez-Ossorio (2001, cursiva en el original) "este indicador no mide en absoluto la calidad intrínseca de una revista, sino únicamente lo que podríamos llamar su calidad formal. Pero no es menos cierto que la calidad formal y la calidad intrínseca suelen ser paralelas o, al menos, que la primera es un prerrequisito para la segunda."
A este respecto, cabe destacar el proyecto Latindex (http://www.latindex.org), que aglutina información sobre revistas científicas publicadas en América Latina, España y Portugal. Latindex ha establecido un conjunto de 33 parámetros de calidad editorial que son evaluados mediante la revisión de los tres últimos números publicados de cada revista. Para ser incluidas en el Catálogo, las revistas han de cumplir las 8 características básicas definidas en el proyecto y, al menos, 17 de los restantes parámetros. Muchos de estos criterios ya estaban presentes en modelos de evaluación como los de São Paulo y Colciencias, que Giménez y Román (2000) utilizaron para comparar una muestra de revistas españolas de Biblioteconomía y Documentación.

3.4 Difusión

Dado el esfuerzo que suponen las iniciativas de creación de productos equivalentes a los del ISI para revistas no incluidas en sus bases de datos, autores como Pérez Álvarez-Ossorio (2001) proponen, como medida alternativa al factor de impacto en aquellos campos en que no existen revistas españolas indexadas por el ISI, la utilización de parámetros paralelos, como pueden ser "la presencia de las revistas en las grandes bases de datos internacionales de las disciplinas correspondientes o en los grandes centros de suministro de documentos."
Siguiendo esta línea de pensamiento, en numerosos trabajos se mide el grado de visibilidad de las publicaciones a través de diversos métodos: presencia en bases de datos; presencia en centros de suministro de documentos; presencia en bibliotecas; inclusión en directorios de publicaciones periódicas; presencia en Internet o contribuciones de autores extranjeros.
Así, podemos citar el trabajo de García y Román (1998) en el que estudiaron la difusión internacional de publicaciones de Arqueología, Prehistoria e Historia Antigua a través de su presencia en grandes catálogos de bibliotecas, bases de datos y directorios internacionales y repertorios impresos. Siguiendo una metodología similar, Giménez, Román y Sánchez (1999) han puesto de manifiesto la escasa visibilidad de las revistas españolas de Economía en bases de datos internacionales.
Aunque fuera del campo de las Humanidades y de las Ciencias Sociales, a la hora de determinar los modelos existentes para la evaluación de revistas, conviene prestar atención a aspectos metodológicos de trabajos de evaluación de revistas de Ciencias Naturales que quedan fuera del ámbito de cobertura del ISI. Este es el caso del trabajo de Primo et al. (2003), que analizaron el impacto de las revistas españolas del área de Biología animal. Para ello estudiaron las referencias de los artículos publicados por autores españoles en 22 revistas españolas de Zoología en 2000 y 2001. Cabe destacar que, en una segunda fase del trabajo, analizaron la visibilidad internacional de esta muestra de revistas españolas a partir de tres criterios: su cobertura en bases de datos nacionales e internacionales; las contribuciones publicadas por autores "extranjeros", entendiendo como tales aquellos afiliados a una institución extranjera, y su presencia en Internet.
En otro trabajo de similares características, Vázquez et al. (2003) estudiaron la difusión y visibilidad nacional e internacional de 38 revistas españolas de tres disciplinas de las Ciencias Experimentales: Geología, Matemáticas y Tecnología de los Alimentos. Para ello analizaron su presencia en bibliotecas españolas  y extranjeras; su inclusión en directorios de revistas; su cobertura por bases de datos españolas e internacionales; su presencia en Internet; las contribuciones publicadas por autores extranjeros, y el cumplimiento de los criterios de calidad de Latindex.
Recientemente Osca-Lluch y Mateo (2003) y Osca-Lluch y Haba (2005) han publicado datos sobre la difusión de las revistas españolas de Ciencias Sociales y Humanas a partir de la información recopilada en un repertorio elaborado por las autoras.
Finalmente, cabe destacar el proyecto MIAR: Modelo de identificación y evaluación de revistas (http://bidoc.ub.es/pub/miar/), una base de datos con información sobre la difusión secundaria de revistas de Ciencias Sociales y Humanidades. En la actualidad, la base de datos recoge información sobre más de 17.000 títulos, principalmente de 8 campos temáticos: Antropología, Comunicación, Derecho, Documentación, Economía, Filología, Filosofía y Política. En la actualidad está prevista su ampliación a las áreas de Arte, Educación, Geografía, Historia, Psicología, Religión y Sociología. El repertorio apuesta por un modelo que permite la comparación de las revistas españolas con las de otros países en las que también pueden publicar sus trabajos los investigadores españoles. La comparación se realiza en términos de difusión internacional, analizando la presencia de los títulos en bases de datos y repertorios bibliográficos. El conjunto inicial de revistas seleccionadas para un ámbito científico es el resultado de un trabajo bibliográfico consistente en identificar las revistas vaciadas en las principales bases de datos internacionales de la especialidad. Una vez establecida la lista de revistas, se procede a su intersección con las fuentes y repertorios seleccionados y a la depuración de los títulos que no superan un umbral de interés de cara a su evaluación. En cualquier caso, respecto de la actualización del repertorio, cuando la búsqueda de un usuario no obtiene ningún resultado, el sistema devuelve un formulario para recoger peticiones de incorporación de nuevos títulos al repertorio.
Si bien resulta evidente que la presencia de una revista en una base de datos no es plenamente indicativa de su importancia, sí se puede entender que la aparición reiterada -o la ausencia sistemática- de un título en un conjunto de repertorios representa un indicio claro de su interés para la comunidad académica a la que se dirige. Dado que las bases de datos de índice y resumen más prestigiosas tienen definida una política para la selección de los títulos que vacían permite atribuir una cierto valor a la presencia simultánea de una única revista en múltiples fuentes secundarias.
Con la finalidad de sintetizar la información disponible en MIAR, sobre cada título se ha procedido al cálculo de un indicador de difusión denominado Índice compuesto de difusión secundaria (ICDS). El ICDS se determina a partir de la presencia o ausencia de cada título en las bases de datos seleccionadas. Hay que destacar que el ICDS no pretende ser un indicador cuantitativo que mida la calidad de los títulos, sino un elemento informativo que permita la ordenación de las revistas en rankings basados en el grado de difusión secundaria. El valor informativo del indicador, entonces, no es tanto de carácter cardinal como ordinal, ya que tiene como principal finalidad permitir la ordenación de los títulos en función de un criterio de difusión.

4. Conclusiones

El análisis expuesto permite obtener algunas conclusiones significativas sobre la evaluación de revistas en el marco de la evaluación de la investigación en Ciencias Sociales y Humanidades. Destacaremos los siguientes puntos:

  • La aplicación del análisis de citas en procesos de evaluación de revistas científicas presenta algunas dificultades, especialmente en las áreas de Ciencias Sociales y Humanidades. En primer lugar por las deficiencias de cobertura e inexactitud de los datos suministrados por Thomson Scientific, pero también por las criticas existentes al propio modelo de evaluación y a la incorrecta utilización de los indicadores bibliométricos derivados de este tipo de análisis. En este sentido, hay que tener presente cuál es la utilidad de indicadores bibliométricos como el factor de impacto -la determinación de la repercusión de un título sobre los canales de comunicación de la disciplina- para evitar la realización de otro tipo de interpretaciones ligadas a la calidad de los contenidos.
  • Las limitaciones de uso de las bases de datos del ISI han ocasionado la aparición de herramientas alternativas, tanto en Ciencias Exactas y Naturales como, especialmente, en Ciencias Sociales y Humanidades. El principal inconveniente de este tipo de repertorios es su elevado coste, que hace dudar de su mantenimiento a largo plazo y limita la cobertura de títulos analizados.
  • Las limitaciones presupuestarias a la hora de realizar proyectos de gran envergadura obliga a restringir las evaluaciones a títulos de un determinado país. Este hecho imposibilita la realización de comparaciones del nivel de las publicaciones nacionales con una selección de títulos internacionales, lo que ofrecería una interesante visión de la posición relativa de los títulos de un país con respecto al conjunto de la disciplina.
  • Dada la proliferación de títulos y la efímera vida que tienen muchos de ellos, los responsables de procesos de evaluación a menudo necesitan, antes de entrar en valoraciones más complejas basadas en el análisis de citas, repertorios más sencillos que les permitan identificar cuestiones básicas relativas a los datos bibliográficos de las publicaciones: entidad editora, periodicidad, historia editorial, bases de datos en la que aparece indexada, etc.
  • Finalmente, el análisis realizado invita a pensar que la evaluación de la investigación realizada por personas e instituciones debería basarse, más que en criterios cuantitativos de producción, en un análisis cualitativo más pormenorizado de una selección de publicaciones realizada por las propias personas evaluadas. Seguramente una valoración basada en algo más que el simple recuento de publicaciones y de citas recibidas contribuiría a limitar las distorsiones en el comportamiento de los investigadores, que a menudo toman decisiones relativas a la difusión de los resultados de sus estudios más impelidos por las potenciales consecuencias en procesos de evaluación que movidos por criterios relacionados con una correcta y equilibrada difusión de su producción intelectual.

Agradecimiento

El proyecto MIAR se ha desarrollado con dos ayudas del Programa de Estudios y Análisis del Ministerio de Educación y Ciencia de España (EA2004-0025 y EA2005-0191).

Referencias bibliográficas

1. Bence, Valerie y Charles Oppenheim. 2004. The role of academic journal publications in the UK Research Assessment Exercise. En Learned Publishing. Vol. 17, no. 1, 53-68.        [ Links ]

2. Camí, Jordi. 1997. Impactolatría: diagnóstico y tratamiento. En Medicina Clínica. Vol. 109, no. 13, 515-524.        [ Links ]

3. Dong, Peng; Marie Loh y Adrian Mondry. 2005. The "impact factor" revisited. En Biomedical Digital Libraries. Vol. 2, no. 7. <http://www.bio-diglib.com/content/2/1/7> [Consulta: 27 marzo 2006].        [ Links ]

4. ESF. 2002. Building a European Citation Index for the Humanities. En ESF Communications: the journal of the European Science Foundation. No. 44, 12-13.<http://www.esf.org/publication/176/ESFCom44.pdf> [Consulta: 27 marzo 2006].        [ Links ]

5. García, Ángeles y Adelaida Román. 1998. Las publicaciones periódicas de Historia Antigua, Prehistoria y Arqueología: difusión internacional. En Trabajos de Prehistoria. Vol. 55, no. 1, 139-146.        [ Links ]

6. Garfield, Eugene. 1996. Respuesta a Ernesto Spinak. En Boletin de la Oficina Sanitaria Panamericana. Vol. 120, no. 2, 146-147.        [ Links ]

7. Giménez, Elea; Adelaida Román y José María Sánchez. 1999. Aplicación de un modelo de evaluación a las revistas científicas españolas de Economía: una aproximación metodológica. En Revista Española de Documentación Científica. Vol. 22, no. 3, 309-324.        [ Links ]

8. Giménez, Elea y Adelaida Román. 2000. Evaluación de revistas científicas: análisis comparativo de dos modelos y su aplicación a cinco revistas españolas de Biblioteconomía y Documentación. En Interciencia. Vol. 25, no. 5, 234-241.        [ Links ]

9. ISI. 2005. Source data. <http://jcr15.isiknowledge.com/JCR/help/h_sourcedata.htm> [Consulta: 4 abril 2006].        [ Links ]

10. Jeannin, Philippe. 2003. Revuemetrie de la recherche en sciences humaines et sociales: rapport synthétique et final de mission (1999-2003). <http://www.iut-tarbes.fr/enquete/Rapport%20final2003a.pdf> (1ª parte) y <http://www.iut-tarbes.fr/enquete/Rapport%20final%202003b.pdf> (2ª parte) [Consulta: 27 marzo 2006].        [ Links ]

11. Lamarca, Genaro, et al. 2005. Evaluación de la calidad de las revistas científicas españolas en Humanidades y Ciencias Sociales. En Boletín de la Anabad. Vol. 55, no. 1-2, 377-391.        [ Links ]

12. López Yepes, José y Juan Ros García. 2003. Problemas relativos a la evaluación investigadora de los profesores universitarios del área de Biblioteconomía y Documentación. En Revista general de información y documentación. Vol. 13, no. 2, 37-58.        [ Links ]

13. McCook, Alison. 2006. Is peer review broken? En The Scientist. Vol. 20, no. 2.        [ Links ]

14. Merton, Robert K. 1968. The Matthew Effect in Sciene. En Science. Vol. 159, no. 3.810, 56-63.        [ Links ]

15. Nederhof, Anton J. 2005. Bibliometric monitoring of research performance in the Social Sciences and the Humanities: a review. En Scientometrics. Vol. 66, no. 1, 81-100.        [ Links ]

16. Osca-Lluch, Julia y María Elena Mateo. 2003. Difusión de las revistas españolas de Ciencias Sociales y Humanidades: acercamiento bibliométrico. En Revista general de información y documentación. Vol. 13, no. 1, 115-132.        [ Links ]

17. Osca-Lluch, Julia y Julia Haba. 2005. Dissemination of Spanish Social Sciences and Humanities journals. En Journal of Information Science. Vol. 31, no. 3, 230-237.        [ Links ]

18. Pérez Álvarez-Ossorio, José Ramón. 2001. La evaluación de las revistas científicas. En BiD: textos universitaris de Biblioteconomia i Documentació. No. 6. <http://www.ub.es/biblio/bid/06perez2.htm> [Consulta: 27 marzo 2006].        [ Links ]

19. Primo, Elena; Isidro Aguillo; Víctor Pareja; Concha Ronda y Manuela Vázquez. 2003. Impacto en la comunidad científica española y visibilidad internacional de las revistas españolas de Ciencia y Tecnología experimentales. <http://wwwn.mec.es/univ/html/informes/estudios_analisis/resultados_2003/EA2003-0029/proyEA2003-0029.pdf> [Consulta: 27 marzo 2006].        [ Links ]

20. Senglen, Per O. 1997. Why the impact factor of journals should not be used for evaluating research. En BMJ. Vol. 314, no. 7079, 497.        [ Links ]

21. Spinak, Ernesto. 1996. Los análisis cuantitativos de la literatura científica y su validez para juzgar la producción latinoamericana. En Boletin de la Oficina Sanitaria Panamericana. Vol. 120, no. 2, 139-146.        [ Links ]

22. Urbano, Cristóbal. 2003. Avaluació de revistes i avaluació de la recerca en humanitats i ciències socials a Catalunya: aproximació a un problema. En BiD: Textos Universitaris de Biblioteconomia i Documentació. No. 10. <http://www2.ub.es/bid/consulta_articulos.php?fichero=10urbano.htm> [Consulta: 4 abril 2006].        [ Links ]

23. Vázquez, Manuela, et al. 2003. Difusión y visibilidad nacional e internacional de las revistas científicas españolas de Ciencias Experimentales. <http://wwwn.mec.es/univ/html/informes/estudios_analisis/resultados_2003/EA2003-0026/EA2003-0026.pdf> [Consulta: 27 marzo 2006].        [ Links ]