SciELO - Scientific Electronic Library Online

 
vol.19 issue2Tourism in Peripheral Territories?: Some Reflections about a Case Study in The Lavalle Desert, ArgentinaCritical Success Factors adn the Evaluation of Competitiveness of Tourist Destinations author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

  • Have no cited articlesCited by SciELO

Related links

  • Have no similar articlesSimilars in SciELO

Share


Estudios y perspectivas en turismo

On-line version ISSN 1851-1732

Estud. perspect. tur. vol.19 no.2 Ciudad Autónoma de Buenos Aires Mar./Apr. 2010

 

DOCUMENTOS DE BASE

Evaluación de revistas cientifícas electrónicas brasileñas de turismo. Desafíos en la búsqueda de calidad

Karina Toledo Solha*

EACH / USP, Brasil

Maria do Carmo Moreira Jacon**

PUC-Campinas- Brasil

* Doctora en Ciencias de la Comunicación y Licenciada en Turismo por la Universidad de São Paulo, Brasil. Se desempena como docente e investigadora en la Escuela de Artes, Ciencias y Humanidades (EACH) de la misma universidad. E-mail: kasolha@usp.br.
** Magíster en Ciencias de la Información y Especialista en Sistemas Automatizados de Información Científica & Tecnológica por la Pontificia Universidad Católica de Campinas - PUC-Campinas.
E-mail: mari_jacon@yahoo.com.br

Resumen: El artículo se basa en un estudio exploratorio que busca comprender e identificar los principales obstáculos a la calidad de las revistas científicas brasilenas del área de turismo para poder recibir apoyo por parte de los organismos de fomento e inserción. Para tal fin se creó un instrumento de evaluación de los aspectos intrínsecos y extrínsecos, el cual fue aplicado a las revistas científicas del área de turismo que constan en el QUALIS, programa de clasificación de revistas del Organismo de Perfeccionamiento del Personal de Ensenanza Superior (CAPES). El análisis se complementó con las entrevistas realizadas a los editores de las revistas. Como resultado, se constató que el desconocimiento de los aspectos técnicos de edición de revistas científicas y la falta de recursos financieros han dificultado sobre manera la calidad de estas publicaciones.

PALABRAS CLAVE: Evaluación; Editores científicos; Revistas científicas electrónicas brasilenas; Organismos de fomento; Turismo.

Abstract: Evaluation of Brazilian Electronic Scientific Journas in the Area of Tourism. Qualification Challanges. The objective of this exploratory study was to understand and identify the main obstacles to the characterization of Brazilian scientific journals in the area of Tourism, so that they can be eligible for sponsorship by development agencies and inclusion in national and international databases. In order to do so, an evaluation instrument to assess both intrinsic and extrinsic aspects was devised. Such instrument was applied to the Tourism journals included in QUALIS, a classification program listing of CAPES - Coordenadoria de Aperfeiçoamento de Pessoal do Ensino Superior (Coordination for Improvement of Higher Education Personnel). The analysis was supplemented by interviews with the editors of the journals. The results showed that both the lack of knowledge in relation to the technical aspects of scientific publishing, and the lack of financial resources greatly hamper the qualification of such publications.

KEYWORDS: Evaluation; Scientific editors; Brazilian electronic scientific journals; Development agencies; Tourism.

INTRODUCCIÓN

El avance de la ciencia se sustenta en la comunicación efectiva del conocimiento entre los miembros de las comunidades científicas. En este proceso, la velocidad del intercambio de información y de experiencias es un factor significativo para el desarrollo de investigaciones y la evolución de un área específica.

En la actualidad, el desarrollo de estudios científicos ha valorizado la producción colectiva e individual, generando mayor integración entre los investigadores que tratan temas afines. En este sentido, las diferentes etapas de la producción del conocimiento científico han promovido el debate sobre la investigación en sí misma. Como resultado se ha establecido una red informal de comunicación entre investigadores que se acciona en la etapa inicial de la investigación, luego el investigador se sumerge en las fuentes de registro científico en busca de datos que corroboren, refuten o redirijan la hipótesis inicial. Allí concluye su investigación y se somete a la evaluación de sus pares a fin de validar el nuevo conocimiento; y luego el proceso se reinicia.

Por lo tanto es necesario comunicar formalmente los resultados de la investigación por un medio rápido, sea para obtener la aprobación de los pares o para registrar la propiedad intelectual. Así, la existencia de un canal formal de divulgación del conocimiento es condición sine qua non para que se produzca el avance científico.

Entre los canales formales de comunicación existentes, la revista científica cuenta con características que atienden las necesidades de la comunidad científica por ser un medio de comunicación rápido, por ofrecer diversos abordajes sobre determinado tema, por presentar los más recientes avances de la ciencia y por dar a conocer la producción científica a través de la indización en bases de datos nacionales e internacionales.

Para que la revista sea indizada es necesario que atienda los criterios de calidad editorial aceptados internacionalmente, los cuales están presentes en un pequeno núcleo de revistas llamado Core. En el caso de Brasil, el ascenso de esas publicaciones se inicia destinando los recursos provenientes de organismos de fomento a la inversión en infraestructura técnico-administrativa y tecnológica para mejorar la calidad. A partir de allí se inicia un proceso cíclico entre los organismos de fomento, los publishers y las bases de datos. Las revistas prestigiosas atraen los mejores trabajos, los mejores editores y evaluadores y, cuando son impresas, también atraen el mayor número de suscripciones. Así, las publicaciones son incluidas automáticamente en la reconocida base de datos nacional, lo que representa la certificación de calidad necesaria para ser indizada en las grandes bases internacionales. De esta manera, las revistas de mayor prestigio serán más leídas y más citadas, los investigadores recibirán mayor reconocimiento público y los organismos de fomento destinarán mayores recursos a las instituciones que a su vez invertirán más en investigación, las cuales serán publicadas en esas mismas revistas.

La indización de revistas científicas en bases de datos, principalmente internacionales, refleja las reglas establecidas por la propia comunidad científica que crea grupos de elite de investigadores, núcleos de revistas para la publicación de artículos y bases de datos que proporcionarán mayor visibilidad a esos artículos. Así, a las revistas no contempladas por los artículos de investigadores renombrados les resta el desafío de vencer una serie de dificultades como la escasa recepción de artículos, la irregularidad de la publicación y la falta de normalización; además de las restricciones impuestas por la inexistencia de infraestructura administrativa.

Las dificultades descriptas se deben principalmente a la falta de un proceso de edición que esté apoyado sobre una estructura constituida por un equipo técnico, de aportes permanentes de recursos financieros para sustentar esta estructura y de un equipo editorial de árbitros. Esto constituye la base indispensable para garantizar el desarrollo y la consolidación de la revista científica. No obstante, el modelo de calidad exige otros requisitos, cualitativos y cuantitativos, cuya identificación y medición involucran a la comunidad científica de las diferentes áreas del conocimiento. Los estudios de evaluación han contribuido de forma relevante a indicar y valorar los ítems que confieren calidad a las publicaciones científicas, creando condiciones para su perfeccionamiento e inserción en las bases de datos nacionales e internacionales.

La calidad de las revistas científicas ha sido objeto de atención por parte de los investigadores del área de turismo en todo el mundo (Pechlaner, H. et al.,  2004; MacKercher, B.; Law, R., Lam, T., 2006). En Brasil, este asunto fue tratado por Rejowski y Aldrigui (2007: 267) quienes mostraron cierta aprehensión en cuanto al cumplimiento del rol de este soporte de la comunicación científica en el área de turismo y se cuestionaron ¿cómo estimular y apoyar el ingreso de las revistas científicas en turismo a los indexadores y portales para que logren tener pertinencia a nivel internacional?

Esta preocupación se justifica por el avance visto en la producción científica en turismo en el país, a lo largo de los últimos anos, como consecuencia del surgimiento de nuevos cursos de posgrado stricto sensu y del incremento del interés de otras áreas del conocimiento por el turismo como objeto de estudio. Esto ha generado una demanda significativa por la publicación de resultados de investigación, que hasta entonces era atendida sólo por las revistas científicas de turismo ligadas a los cursos de posgrado existentes (Turismo em Análise /Universidade de São Paulo - USP, y Turismo: Visão e Ação / Universidade do Vale de Itajaí - UNIVALI).  A esto se suman las facilidades existentes para crear una revista científica electrónica, entre las que se destacan el menor costo de mantenimiento, la accesibilidad y el alcance. No obstante, estas facilidades no garantizan la calidad del contenido, que ciertamente no depende exclusivamente del cambio de formato sino de la producción científica del área que también acarrea sus propios inconvenientes, los cuales son expuestos por Rejowski (1996).

[ ...] los estudios enfocados no posibilitaron visualizar el desarrollo esperado y se presentaron como estudios individuales, sin interrelaciones entre sus líneas de investigación. No siempre se consigue rigor científico y espíritu crítico, sino que en muchos casos falta dominio de la metodología, que parece ser una deficiencia que deriva de la misma graduación (Rejowski, 1996: 112)

En lo que respecta al análisis de la producción científica de artículos, este panorama no sufrió demasiados cambios en la década siguiente. Rejowski y Aldrigui (2007: 262) establecen que las revistas creadas en la fase de expansión científica no presentan las características de calidad esperables para ingresar en la circulación internacional. Tal opinión también es compartida por Bandeira (2007:15) al considerar los indicadores de visibilidad, calidad y utilidad de cinco revistas electrónicas del área de Turismo.

Este área del conocimiento está en proceso de transformación. Actualmente existe un reconocimiento de las deficiencias por parte de la sociedad científica y, al mismo tiempo, se observa un movimiento que tiende a superar estos obstáculos. Este artículo pretende que a través de la evaluación de revistas científicas del área los organismos de fomento ofrezcan subsidios para incrementar la calidad y lograr la valoración de esas publicaciones por parte de las bases de datos nacionales e internacionales. Con el objetivo de obtener un análisis más profundo acerca de los procesos de producción científica, también se pretende identificar las dificultades encontradas por los editores en su tarea cotidiana.

EVALUACIÓN DE LA CALIDAD DE LAS REVISTAS CIENTÍFICAS

Existen varias posibilidades de evaluación de revistas científicas. [ ...] teniendo como premisa su representatividad de la ciencia y como unidad de estudios las propias revistas, los autores, el artículo, las citas o referencias bibliográficas de los artículos a los que se refieren, el uso registrado en las bibliotecas o servicios de acceso, o la opinión  de los usuarios (Mueller, 1999: 2).

Tratándose de la evaluación de la calidad de las revistas científicas brasilenas los instrumentos más utilizados son el factor de impacto (FI), índice bibliométrico del Institute for Scientific Information (ISI) para el examen de los indicadores de calidad extrínsecos e intrínsecos.

El factor de impacto fue propuesto en 1955 por Eugene Garfield para evaluar la importancia de determinado trabajo y su impacto en la literatura. El uso de este instrumento se inició en la década de 1960 con la creación del Journal Impact Factor, con el objetivo de evaluar la calidad de un grupo de revistas a ser indizadas en el recién publicado Science Citation Índex (SCI). A partir de allí se estableció un índice que consideraba el número de citas realizadas a las publicaciones indizadas a la Web of Science (base mantenida por el ISI). El FI de una publicación resulta de la división entre el total de citas recibidas en determinado ano por los artículos publicados en esa publicación en los dos últimos anos y el total de artículos publicados en el bienio (Journal Citation Reports, 1998:14).  

[ ...] A medida que el factor de impacto (FI) se fue estableciendo como criterio de evaluación de publicaciones en las más diversas instancias, fue creciendo igualmente el número de estudios que comenzaron a analizarlo de variadas formas e, invariablemente, a criticarlo como indicador de influencia de publicaciones (Strehl, 2005: 20)

De acuerdo con Strehl (2005: 20), los autores utilizan el FI para identificar las revistas de mayor prestigio y las bibliotecas usan el indicador para seleccionar los títulos de mayor interés para la sociedad científica cuando necesitan ubicar recursos, de la misma manera que los organismos de fomento usan el JCR para elaborar políticas científicas.

La creciente demanda de financiamiento y el uso de índices de citas para evaluar la excelencia de los investigadores y las instituciones han fomentado un intenso debate en el ámbito de la Ciencia de la Información. Para algunos investigadores (Leta y Cruz, 2003; Mueller, 1995) la formulación de indicadores de productividad e impacto por parte del ISI (además del aspecto político y el factor determinante en la jerarquización de los miembros de la comunidad científica), de acuerdo con su contribución establece el grado de autoridad en el área de investigación. Este prestigio es conferido a un selecto grupo de investigadores quienes también son los mayores beneficiados por la ayuda financiera de los organismos de fomento.

La elaboración de políticas científicas sobre el uso de indicadores bibliométricos formulados a partir de las citas es, para Strehl (2005: 19), un proceso tan relevante como difícil de ser aplicado en los organismos de fomento. Esto se debe al gran número de documentos involucrados y a la inconsistencia de los índices de citas y bibliografías, además de otras variables que interfieren en el cálculo del factor de impacto.

La inconsistencia a la cual se refiere la autora se debe a la autoría múltiple, hecho que torna muy difícil la tarea de las bases de identificar y fichar a los autores, y a otros factores tales como la existencia de sinónimos, homónimos o errores de edición. Las variables de mayor impacto en el cálculo del FI se dan en el nivel de obsolescencia del conocimiento que depende del área del conocimiento, del ano de las referencias citadas, y de la densidad (definida como el número medio de referencias citadas en los artículos de dicha revista). La densidad, así como la obsolescencia, varía de acuerdo con el área. Según Narin (1976 en Macroberts & Macroberts, 1989), una publicación del área de biomedicina caracterizada por citar más referencias, recibirá más citas que una publicación del área de ingeniería, tecnología o matemática (que se caracterizan por tener pocas referencias bibliográficas).

Los indicadores de calidad extrínsecos e intrínsecos posibilitan la evaluación conjunta de forma y contenido y apuntan, de modo directo e indirecto, a la calidad de las publicaciones. Son indicadores directos de calidad los aspectos como normalización, periodicidad y tiempo de existencia. La calidad del contenido puede ser evaluada indirectamente por la indexación de la publicación en las bases de datos de referencias en Brasil y el exterior; por el consejo editorial y los consultores, especialistas del área; por la inclusión de artículos originales; y por el alcance o competencia de los autores. Si bien son varios indicadores de calidad, la definición de los aspectos analizados en la evaluación de forma y contenido varían de acuerdo con los objetivos que se proponen los estudios de evaluaciones.

Así como el FI, los indicadores indirectos de calidad son puntos de cuestionamiento, principalmente por su uso en la evaluación y clasificación de revistas como instrumento de evaluación de investigadores e instituciones sin tener en cuenta las características del conocimiento producido en las diversas áreas del conocimiento (Jacon, 2007:195).

Más allá de las fallas de todo proceso evaluativo que contempla el análisis indirecto de la calidad de las publicaciones los indicadores son delineados por la comunidad científica, validados y aceptados por los organismos de fomento nacionales y las bases de datos. Asimismo, es alta la frecuencia de uso de estos indicadores en los estudios de evaluación (Castro, R. C. F.; Ferreira, M. C. G, Vidili, A. L., 1996; Krzyzanowski, R. F., Ferreira, M. C. G., 1998; Yamamoto, O. H. et al., 2002).

Se comprobó que los organismos de fomento desempenan un rol muy relevante en el proceso de calificación de la producción científica. En Brasil, la producción científica es orientada principalmente por dos organismos de fomento responsables a nivel nacional, el Organismo de Perfeccionamiento del Personal de Ensenanza Superior (CAPES) y el Consejo Nacional de Desarrollo Científico y Tecnológico (CNPq).  El CAPES es responsable de la ensenanza de posgrado en todos los estados de la Federación y entre sus actividades se destacan la evaluación de los programas, el estímulo al acceso y difusión de la producción científica, la inversión en la formación de investigadores y el incentivo a la cooperación científica internacional. El CNPq es un organismo perteneciente al Ministerio de Ciencia y Tecnología (MCT); cuyo objetivo es promover el fomento de la investigación científica y tecnológica y formar recursos humanos para la investigación en el país. 

Por otro lado, para apoyar el desarrollo de investigaciones de carácter regional a través de varios estados brasilenos se crearon organismos de fomento bajo la figura de fundaciones de apoyo a la investigación que financian a los investigadores vinculados a las universidades públicas estatales. Este apoyo se extiende a las publicaciones a través del Programa de Apoyo a las Revistas Científicas de la Fundación de Amparo a la Investigación del Estado de São Paulo (FAPESP), uno de los organismos pioneros en el desarrollo de estudios de evaluación.

Los estudios de evaluación sirven para varios fines: son utilizados por los investigadores para subsidiar la calidad y acreditación junto a las agencias de fomento, que a su vez utilizan estos estudios para seleccionar las revistas a las cuales destinarán recursos a través de los programas de apoyo a las publicaciones científicas brasilenas; son utilizados por el CAPES en la clasificación de los medios utilizados por los docentes y alumnos de los programas que integran el sistema brasileno de posgrados; y son utilizados por las bases de datos nacionales e internacionales en la selección de títulos candidatos a la indización. Ante tal variedad de interlocutores que evalúan una revista científica es evidente que existe una serie de criterios por ellos predeterminados, ora explicitados (Barbalho, 2005: 9).

Según Barbalho (2005) los organismos de fomento establecen como modelo de calidad que la revista publique más de un 50% de artículos originales de competencia nacional y / o internacional de miembros del consejo editorial y otros colaboradores, que la periodicidad esté al día (como mínimo, semestral), y que publique al menos cinco artículos por número. Por lo tanto, existe un modelo que filtra publicaciones de calidad y al mismo también es utilizado por bases de datos internacionales y nacionales como el ISI y SciELO Brasil.

El modelo de calidad adoptado por el ISI considera factores cualitativos y cuantitativos. [ ...] son analizados los modelos básicos de presentación, el contenido editorial, la internacionalidad de los autores y las citas realizadas a estos autores, a través de filtros de calidad como el Science Citation Index (SCI) (Testa, 1998: 2). Según el autor, la mayoría de las publicaciones no atiende a los modelos de calidad de la base ya que de los dos mil títulos de revistas analizados anualmente sólo del 10% al 12% son seleccionados, lo que demuestra el rigor en la selección de los títulos candidatos a ser indexados en la base.

La dificultad de penetración de la ciencia brasilena en bases de datos como el ISI promovió la creación de la base de datos SciELO, fruto de la unión entre la Fundación de Amparo a la Investigación del Estado de São Paulo (FAPESP) y el Centro Latinoamericano y del Caribe de Información en Ciencias de la Salud (BIREME). La base fue creada para aumentar la visibilidad de la producción científica nacional y crear mecanismos de evaluación y aplica los mismos criterios de selección adoptados por el ISI, inclusive el impacto que se verifica a partir de las citas de la revista en los artículos publicados en la colección. Las dificultades se potencian cuando se analizan los procedimientos y criterios adoptados por el CAPES.

El CAPES evalúa los medios donde los docentes y alumnos del nivel de posgrado brasileno publican su producción científica y utiliza un sistema de clasificación con criterios diferenciados. Las comisiones de evaluación están formadas por representantes del CAPES y consultores ad hoc; y cada área adopta diversos instrumentos de evaluación basados en la metodología propuesta por el CAPES, la evaluación por los pares. Así, se utilizan criterios de calidad como si la revista está indizada en el JCR o no, el análisis de los aspectos intrínsecos y extrínsecos y el ranking de publicaciones divulgado en índices bibliométricos. Las revistas son clasificadas en el ámbito internacional, nacional y local, y encuadradas en categorías indicativas de calidad A1, A2, B1, B2, B3, B4, B5, y C. Un mismo medio puede tener distintas clasificaciones según el área. De acuerdo con el CAPES, las revistas que componen el Qualis son publicaciones mencionadas en los programas de posgrado y el principio utilizado en las diferentes clasificaciones es el establecido por cada área según la relevancia potencial de los trabajos publicados. De este modo, la misma publicación puede recibir la clasificación B1 en determinada área y recibir C en otra. Este sistema de clasificación ha movilizado a editores, investigadores e instituciones de ensenanza e investigación con el fin de articular criterios similares entre áreas porque se considera que:

[ ...] la demanda por el perfeccionamiento del proceso evaluativo de la actividad de investigación se desprende del crecimiento de la ciencia brasilena, que requiere no sólo el desarrollo de criterios rigurosos, sino también de parámetros sensibles a las características del conocimiento producido en las diversas áreas del saber (Strehl, 2005: 26).

Tomando en cuenta todo lo expuesto, se puede senalar que son muchos los desafíos a enfrentar por las revistas científicas nacionales e internacionales en búsqueda de calidad y visibilidad. Las revistas de algunas áreas como Medicina y Biología superaron esas dificultades. Esto no significa que los investigadores y editores ya no se preocupen por el tema, sino que han incorporado procedimientos que facilitan la búsqueda permanente de calidad.

Esta preocupación también se observa a nivel internacional. La proliferación de revistas y la ausencia de publicaciones del área de turismo y hotelería en índices de citas ha impulsado a los investigadores a desarrollar metodologías que combinen el análisis de citas y la opinión de los especialistas de Estados Unidos de América y de Europa con el objetivo de establecer un ranking de revistas internacionales del área de Turismo (McKercher, B., Law, R.; Lam, T., 2006; Pechlaner, H., Zehrer, A., Matzler, K., Abfalter, D., 2004). El objetivo y la competencia de los estudios de esta naturaleza son factores determinantes en la definición de los instrumentos utilizados para clasificar las revistas y se basan en criterios tales como el alcance y la calidad percibida que pueden indicar la relevancia de estas publicaciones. 

Al definir los modelos de evaluación de las revistas científicas brasilenas del área de Turismo se debe comprender y estimar su capacidad para considerar ciertos requisitos establecidos, tener en cuenta la preponderancia del formato electrónico, y enfatizar que los criterios de calidad son similares a los del formato impreso (Mueller, 2006).

[ ...] Las publicaciones electrónicas consideradas legítimas son las que siguen los modelos tradicionales de las revistas impresas, aquellas que proponen modelos innovadores; y más allá de que el formato electrónico no es totalmente descalificado tampoco alcanza una completa legitimidad o igualdad (Mueller, 2006: 36).

A pesar de los cambios, el análisis de la bibliografía indica que el nuevo formato aún no ha sido totalmente aceptado por la comunidad científica. La mayor resistencia está en el modelo tradicional de comunicación científica: la revista arbitrada y certificada por el sistema peer review. Al discutir los conceptos de legitimación y legitimidad, Mueller (2006) traza un paralelo con la certificación del conocimiento a través de la comunicación científica:

[ ...] legitimación significa dar legalidad y que, más allá de que sea un término originalmente usado en el contexto de sistemas legales, los procesos que suponen una acción a ser considerada legítima extrapolan los sistemas legales; como es el caso de la comunicación científica. La legitimación exige consenso. La legitimidad es la creencia de que las autoridades, instituciones y organizaciones son correctas, adecuadas y justas, y por eso deben ser respetadas y aceptadas (Mueller, 2006: 29).

El acto de legitimación es un proceso donde la comunidad científica confiere autoridad a una persona, o grupo, para determinar en qué condiciones el conocimiento puede ser considerado científico. Por lo tanto, la legitimidad sólo adquiere el status de consenso si existe legitimación. Dicho de otra forma, en la legitimación es el sistema peer review que torna legítimo el conocimiento registrado en una revista científica. Así, cualquier modelo de evaluación de revistas científicas electrónicas debe aproximarse al modelo tradicional de revistas impresas, o sea que debe evaluar la forma y el contenido.

METODOLOGÍA Y PROCEDIMIENTO

Para alcanzar los objetivos propuestos se trabajó con los editores y se evaluaron los aspectos intrínsecos y extrínsecos de las revistas científicas del área de turismo. Los instrumentos utilizados fueron el cuestionario y la ficha de evaluación.

Para determinar la muestra de los editores de las revistas científicas y la aplicación del cuestionario, se realizó un relevamiento de las revistas científicas brasilenas del área de turismo indexadas en los portales de publicaciones científicas, en el programa Qualis de clasificación del CAPES, en la base Latindex y en el Catálogo Colectivo Nacional (CCN). Esto permitió conformar una lista inicial de 23 revistas científicas, de las cuales se consideraron como universo de investigación aquellas que estaban vigentes (21 publicaciones). Luego se aplicó un segundo criterio de selección considerando las publicaciones relevantes para el área, con lo cual la muestra se redujo a 16 títulos. Fueron consultados los sitios de las publicaciones e instituciones para obtener los datos de los editores y los últimos números editados.

El cuestionario fue estructurado en 7 preguntas abiertas y cerradas, con el objetivo de identificar las dificultades técnicas y de infraestructura relativas al proceso editorial y la percepción de los editores en lo que respecta a las acciones necesarias, bajo su responsabilidad,  para incrementar la calidad de la revista. El mismo fue enviado por e-mail y se solicitó la respuesta en el plazo de no más de 15 días. Como fueron sólo 4 los que respondieron, se envío un nuevo e-mail a quienes no respondieron. Finalmente el total de cuestionarios respondidos fue del  75% de la muestra:

  • Revista Observatório de Inovação do Turismo, EBAPE/FGV - Fundação Getúlio Vargas;

  • Turismo e Sociedade, UFPR - Universidade Federal do Paraná;

  • Caderno Virtual de Turismo, UFRJ - Universidade Federal do Rio de Janeiro;

  • Turismo em Análise, ECA/ USP - Universidade de São Paulo;

  • Itinerarium, UNIRIO - Universidade do Rio de Janeiro;

  • Revista Brasileira de Docência, Ensino e Pesquisa em Turismo, FAEF - Faculdade de Ciências Humanas, Associação Cultural e Educacional de Garça;

  • Revista Global Tourism, Global Consultoria;

  • Revista Brasileira de Ecoturismo,  SBEcotur -  Sociedade Brasileira de Ecoturismo

  • Pesquisa em Turismo e Paisagens Cársticas, SBE - Sociedade Brasileira de Espeleologia;

  • Revista Nordestina de Ecoturismo, Instituto Ambiental Árvore;

  • Revista Turismo: Visão e Ação, UNIVALI - Universidade do Vale do Itajaí;

  • Revista Patrimônio, Lazer e Turismo, UNISANTOS - Universidade Católica de Santos.

En la muestra de revistas evaluadas se utilizaron las publicaciones incluidas en el Qualis con clasificación B, en el área de Administración, Contabilidad y Turismo. De las 8 seleccionadas, 1 está suspendida, 2 son revistas impresas, y 5 tienen formato electrónico. Las revistas seleccionadas y de las cuales se analizaron los números editados en el ano 2008 fueron: Turismo em Análise (B2), Turismo: Visão e Ação (B3), Revista Acadêmica do Observatório de Inovação do Turismo (B4), Patrimônio: Lazer e Turismo (B5) y Revista Global Tourism (B5).

La ficha de evaluación, de acuerdo con Cuadro 1, fue elaborada a partir de la metodología desarrollada por Krzyzanowski y Ferreira (1998) y la ANPEPP (2007) tomando en consideración las características del formato electrónico establecidas por Marcondes (2006). El desarrollo del instrumento contempló la ponderación de criterios de forma que el análisis se aproximara a las características inherentes a los formatos impresos y electrónicos, incluyendo los ítems necesarios para la identificación de la publicación electrónica. Se destaca que la evaluación no contempló aspectos referentes al lay out (diseno), como se observa en el Cuadro 1.

Cuadro 1:  Grilla de evaluación de revistas electrònicas del área de humanidades
PERÍODO:



Fuente: Elaboración propia

La metodología desarrollada establece criterios de puntuación (hasta 100 puntos), determinando el nivel de desempeno en Muy Bueno (más de 81), Bueno (entre 56 y 80), Mediano (entre 31 y 55) y Débil (menos de 30); y considera los siguientes ítems:

  • Normalización: como parámetro para medir los aspectos relacionados a la normalización fueron consideradas las normas de la Asociación Brasilena de Normas Técnicas (ABNT). La puntuación acompanó las condiciones establecidas en la ficha. Para las variables ISSN, resumen y leyenda bibliográfica, se consideró su inclusión en la página inicial del artículo. Las otras variables como periodicidad, ano de creación y misión fueron puntuadas según la información explícita; mientras que la dirección de la publicación, la fecha de recepción y tramitación del artículo, la aceptación y las instrucciones a los autores, fueron puntuados según la indicación completa/inclusión sistemática. En tanto que los resúmenes, descripciones y referencias fueron puntuados de acuerdo con la inclusión sistemática/normalización. La puntuación en este ítem varía de 1 a 3 y la consideración de todos los criterios posibilitó un total de 18 puntos.

  • Publicación: las variables referentes al tiempo de publicación, la regularidad y la periodicidad evaluaban la tradición y consolidación del periódico y la puntuación fue mayor cuanto mayor ras el tiempo de publicación y menor era el intervalo de aparición (las regulares recibieron puntos adicionales). La puntuación para el tiempo de publicación varió de 1 a 3; para la periodicidad de 1 a 4; y 7 puntos para la regularidad. En este ítem la revista podía recibir hasta 14 puntos.

  • Autoría y contenido: la variable competencia fue puntuada según el porcentaje de artículos de autores internacionales y/o en colaboración, de nacionales oriundos de varias instituciones del país, y también por la ausencia de endogenia (originados en la propia publicación). En cuanto al contenido, la presencia regular de artículos/ensayos originales e inclusión de otros contenidos posibilitó una mayor puntuación, sumado a la existencia de información sobre derechos autorales. La puntuación mínima recibida fue 1 y la máxima 5, pudiendo alcanzar hasta 20 puntos.

  • Gestión editorial: este ítem de gran importancia en cualquier proceso de evaluación fue puntuado por la presencia del editor responsable, editores asociados y consejo editorial; y por la competencia a nivel nacional e internacional de los miembros del consejo editorial y los consultores ad hoc (que establece que los miembros sean afiliados por lo menos a 3 instituciones). La nómina en la publicación cada 2 anos, recibió 2 puntos. Los puntos fueron atribuidos de acuerdo con la valoración de cada variable, que oscilaba entre 1 y 8 puntos, pudiendo alcanzar hasta 26 puntos.

  • Difusión: este ítem se relaciona con la visibilidad de la publicación y fue evaluado por el control estadístico de acceso electrónico a los artículos y por la indexación en las bases de datos nacionales e internacionales. La inclusión del control estadístico confería 2 puntos, y en la variable indexación la puntuación máxima fue de 9 y podía obtenerse por la indizados de la revista al servicio internacional reconocido en el área (7 para SciELO y 4 para otros índices internacionales como Latindex); permitiendo la obtención de hasta 22 puntos.

PRESENTACIÓN DE RESULTADOS Y DEBATE

De las entrevistas realizadas con los editores de 12 revistas científicas en turismo se extrajeron las siguientes dificultades iniciales del trabajo: el exceso de funciones (7), la inexistencia de equipo técnico (6), el desconocimiento del proceso editorial (2) y la composición o reestructuración del cuerpo editorial (1). También se indicaron dificultades en los procedimientos editoriales (3). Las publicaciones científicas normalmente están relacionadas con cursos de posgrado o centros de investigación, instituciones en las cuales los investigadores están comprometidos con la docencia y muchas veces actúan en otros cargos administrativos. Este exceso de actividades adquiere gran significado cuando no existe un apoyo efectivo del consejo editorial (estableciendo metas y directrices), ya que también es preciso ocuparse de las actividades operativas de la publicación.

La mayoría de las publicaciones no tienen infraestructura de apoyo (8). Gran parte de ellas se sustenta con recursos propios (6); muy pocas poseen apoyo del programa institucional (2); otras cuentan con apoyo indirecto de las universidades a las que pertenecen (2), y las demás poseen recursos provenientes de sus asociados (2). Esta situación podría modificarse con el apoyo de los organismos de fomento; sin embargo estos subsidios se destinan a las revistas que poseen condiciones para sobrevivir.

A éstas, se suman otras dificultades inherentes al proceso editorial, entre las que se destacan la afluencia de artículos (indicada como poca (5) o mediana (5) por 10 editores).  Esto se repite en la selección de los artículos y su arbitraje (9 editores indicaron una dificultad mediana). Algunos editores identificaron como situaciones recurrentes el incumplimiento del plazo, ya sea por parte de los consultores o por la demora en las correcciones de los autores. A esto se agregan las dificultades propias del uso de la plataforma electrónica para el registro de las evaluaciones. Esta etapa podría ser más expeditiva si se desarrollara un proceso más ágil, transparente y esquemático entre los propios editores, considerando la diversidad y cantidad de consultores ad hoc disponibles. 

En relación a los ítems que consideraron más importantes para promover la calidad de la revista se  destaca la calidad de los artículos (10), la indización en una base de datos (10), la competencia del consejo editorial (7), la regularidad o periodicidad (6), la adopción de normas técnicas (5), y la presencia de evaluadores/referees renombrados (5).

Otro factor que puede darle calidad a las revistas no depende de la acción exclusiva de estas publicaciones sino de la evolución del área y de los investigadores, como es el caso de la mejora en la calidad de los mismos artículos. Aquí puede contribuir el aumento en el nivel de exigencia, estableciendo un proceso de evaluación transparente.

Hay que senalar que la calidad de las revistas científicas también depende de la dedicación y el trabajo de los editores, que no siempre tienen las condiciones suficientes para realizar estas actividades (Yamamoto, 2002).

¿Cuántos de nosotros nos introducimos en ese emprendimiento pensando que producir una revista científica significaría, simplemente, juntar y organizar un conjunto de artículos y entregárselos a una editora? Es evidente que se trata de una caricatura: el punto es la calificación con la que el investigador y el productor de conocimiento son calificados como editores de una revista especializada del área, que lamentablemente es insuficiente (Yamamoto, 2002: 3).

La identificación de las dificultades de los editores en la gestión de las revistas no fue suficiente para conocer los aspectos que podrían perfeccionarse. Por ello la percepción de los editores se complementó con la aplicación en las revistas (incluidas en el programa Qualis) de un instrumento de evaluación (Tabla 1).

Tabla 1: Criterios de evaluación de las revistas científicas de turismo

Fuente: Elaboración propia

La evaluación de las publicaciones presentó dificultades y restricciones tanto en la recolección como en el tratamiento de los datos. Las principales dificultades encontradas en la recolección fueron la falta de disponibilidad del sitio de una publicación durante todo el tiempo, la demora en hallar la información debido a que los formatos no están estructurados, la falta de actualización de la información y la no inclusión de todos los números editados en el ano 2008 ni de los datos sobre los índices. La falta de esta información impactó en la puntuación obtenida al analizar la difusión.

En la evaluación de las cinco revistas analizadas, sólo una de ellas presentó una puntuación alta en el ítem normalización (16), las demás obtuvieron entre 10 y 13 puntos; y sólo una revista presentó una total falta de normalización (6). Los requisitos que aparecieron ignorados por los editores son la explicitación de la periodicidad, la inclusión del ano de creación, información sobre la fecha de recepción y sobre el trámite de los artículos; la normalización de las referencias; y detalles sobre las instrucciones para los autores. El resultado, en general, apunta a la falta de atención a las normas técnicas, lo que compromete la difusión y la visibilidad ya que la normalización es un factor clave en cualquier proceso de evaluación de títulos candidatos a ser indizados.

En el ítem publicación los resultados son semejantes, hecho que se debe al mantenimiento de la periodicidad, siendo que la diferencia en la puntuación fue influenciada por los ítems tiempo de la publicación y periodicidad. El tiempo de existencia es indicador de sobrevivencia y senala la tradición y la importancia en el área representados por dos revistas; que por otro lado presentaron un intervalo mayor de aparición en relación a las demás. La mayoría presentó la periodicidad esperable (cuatrimestral y trimestral), salvo una de ellas que era semestral. En las revistas electrónicas, cuya principal característica es la rapidez en la difusión del conocimiento, se hace obligatorio el mantenimiento de la periodicidad.

Al analizar la autoría y el contenido, la diferencia de puntuación se debe a la escasa presencia de artículos de autores internacionales, que probablemente publican en medios de mayor visibilidad. La diferencia también se manifiesta en la falta de inclusión de otros contenidos.

En relación a la gestión editorial, en algunas revistas se destacó la inexistencia de información sobre la filiación de los consultores ad hoc y el consejo editorial, imposibilitando la verificación de la competencia y la diversidad de los miembros. La calidad del contenido de una publicación se evaluó indirectamente a través de la composición del consejo editorial y de los referees con representatividad para arbitrar y seleccionar las investigaciones inéditas y adecuadas a la política editorial de la publicación.

En lo que se refiere a la difusión se verificó que, de las cinco revistas analizadas, sólo una presentó información sobre la indización en una base de datos internacional, sin embargo no mostraba el control de acceso electrónico, dato fundamental para medir el impacto en el área.

El resultado final de la evaluación fue el siguiente: una revista calificada con Muy Bueno (se observa que la puntuación alcanzada está próxima al punto de corte), dos publicaciones calificadas con Bueno (se distancian de la escala da puntuación deseable), una revista calificada como Mediana (con la necesidad de perfeccionar la mayoría de los aspectos analizados).

CONSIDERACIONES FINALES

A través del análisis de las revistas científicas de turismo se concluye en que las dificultades sufridas por el área se relacionan con el desconocimiento de los aspectos técnicos inherentes al proceso de edición científica; que resulta en un proceso editorial aletargado y en una percepción de calidad diferente de la que contemplan los criterios del instrumento de evaluación.

El proyecto editorial de la mayoría de las revistas brasilenas está desprovisto de un proceso que priorice la calidad editorial dando como resultado una comunicación deficiente entre los lectores, autores, colaboradores y referees. Además, los sistemas de evaluación se alejan del ideal, indicando la necesidad de promover la calificación de los investigadores que actúan como editores, principalmente en los aspectos relacionados al uso de la tecnología y al proceso de gestión. Y, de modo complementario, también es necesario crear espacios en donde los editores puedan discutir su actuación y las cuestiones relacionadas a la calidad de la revistas. En este sentido, ya se observa un movimiento en el país, provocado por la Asociación Brasilena de Editores Científicos (ABEC) que promueve frecuentes cursos y congresos que permiten a los editores de revistas científicas de turismo una mayor inserción en los debates de distintas áreas del conocimiento. A esto también se asocia la iniciativa de la Asociación Nacional de Posgrado e Investigación en Turismo (ANPTUR), que en los últimos tres anos ha destinado un espacio en la programación de su simposio para el encuentro de los editores de estas revistas.

Los resultados obtenidos con la evaluación determinaron una total falta de visibilidad de las revistas turísticas, lo cual queda demostrado por la ausencia de esas publicaciones en las bases de datos nacionales e internacionales. Los problemas de la mayoría de las publicaciones latinoamericanas se relacionan con la falta de políticas científicas que fomenten la inversión en investigación, entre otros motivos. Las publicaciones electrónicas surgieron como alternativa para minimizar los costos, aumentar la rapidez de difusión, y ampliar el acceso a la información entre los investigadores, manteniendo los criterios de calidad de las publicaciones impresas. Pero en la práctica, el cambio de formato no ha garantizado el acceso irrestricto a las investigaciones, ya que a veces las mismas no están indexadas y sólo los investigadores del área tienen acceso a lo que se publica.

En lo que respecta a los criterios de calidad aceptados nacional e internacionalmente, la gran mayoría de las revistas científicas electrónicas brasilenas deben salvar muchos obstáculos. Inicialmente, tienen que procurar visibilidad nacional a través de la clasificación Qualis y la indización en SciELO Brasil. La clasificación Qualis es atribuida a las revistas utilizadas por docentes y alumnos del  sistema nacional de posgrado brasileno para difundir las investigaciones; y la calidad de los medios  utilizados ejerce gran influencia sobre la evaluación trienal de estos programas por parte del CAPES. Por lo tanto los investigadores más productivos publican en revistas de probada visibilidad.

En SciELO Brasil el panorama no es diferente, la colección de la base de datos está constituida por 200 títulos; de los cuales sólo 7 son revistas electrónicas (3,5% del total). Los 193 títulos restantes son publicaciones impresas que alcanzan el status de conocimiento certificado por poseer tradición en investigación y por recibir apoyo de los organismos de fomento e institucionales; por lo tanto atraen las mejores investigaciones, lo cual garantiza el mantenimiento en la base.

Entre las propuestas para dar visibilidad a las revistas científicas electrónicas, se encuentra en fase de implementación la biblioteca SciELO Brasil, cuyo objetivo es concentrar publicaciones electrónicas. Este proyecto excluía a las revistas del área de turismo y otras áreas y su prioridad era la inclusión de publicaciones editadas por universidades públicas, por considerar que las mismas producen investigaciones de calidad.

Antes de promover la capacitación y el perfeccionamiento de los editores es necesario que los organismos gubernamentales de apoyo a la investigación adopten políticas científicas que estimulen la producción y calidad de las publicaciones nacionales, considerando las diferentes áreas y sub-áreas como el grado de organización de los investigadores y las características del conocimiento producido. Paralelamente a estas acciones y en respuesta a las inquietudes de los investigadores brasilenos del área de Turismo sobre cómo promover la visibilidad de las revistas, se sugiere unir esfuerzos para crear archivos digitales que reúnan y divulguen la producción científica del área.

Trabajo presentado originalmente en el VI Simposio de la Sociedad de Investigación y Posgrado en Turismo (ANPTUR), 2009. Esta versión fue revisada y ampliada por las autoras.

REFERENCIAS BIBLIOGRÁFICAS

1. Associação Nacional de Pesquisa e Pós-Graduação em Psicologia (2007) "Avaliação de publicações". Disponible en: http://www.anpepp.org.br/index-aval.htm. Visitado el 17 de mayo de 2007        [ Links ]

2. Barbalho, C. R. S. (2005) "Periódicos científicos em formato eletrônico: elementos para sua avaliação". In: Congresso Brasileiro de Ciências da Comunicação, 27, UERJ, Rio de Janeiro.        [ Links ]

3. Castro, R. C. F.; Ferreira, M. C. G.; Vidili, A. L. (1996) "Periódicos latino-americanos: avaliação das características formais e sua relação com a qualidade científica". Ciência da Informação 25(3): 357-367.        [ Links ]

4. Jacon, M. C. M. (2007) "Base Qualis e a indução do uso de periódicos da área de Psicologia. TransInformação" 19(2): 189-197.        [ Links ]

5. Journal of Citation Reports. (1998) Institute for Scientific Information, Philadelphia.        [ Links ]

6. Krzyzanowski, R. F.; Ferreria, M. C. G. (1998) "Avaliação de periódicos científicos e técnicos brasileiros". Ciência da Informação 27(2): 165-175.         [ Links ]

7. Leta, J.; Cruz, C. H. B. (2003) "A produção científica brasileira". In: Viotti, E. B.; Macedo, M. M. (Org). Indicadores de Ciência, Tecnologia e Inovação no Brasil. Unicamp, Campinas.        [ Links ]

8. MacKercher, B.; Law, R.; Lam, T. (2006) "Rating tourism and hospitality journals". Tourism Management 27(6): 1235-1252.        [ Links ]

9. MacRoberts, N. H.; Macroberts, B. R. (1989) "Problems of citation analysis: a critical review". Journal of de American Society for Information Science 40(5): 342-349.        [ Links ]

10. Marcondes, C. H. (2006) "Avaliação de periódicos eletrônicos acadêmicos brasileiros: uma proposta de método baseado na análise de links para o site do periódico". TransInformação 18(2): 123-130.        [ Links ]

11. Mueller, S. P. (1995) "O crescimento da ciência, o comportamento científico e a comunicação científica: algumas reflexões". Revista da Escola de Biblioteconomia da Universidade Federal de Minas Gerais 24(1): 63-84.        [ Links ]

12. Mueller, S. P. (1999) O círculo vicioso que prende os periódicos nacionais. DataGramaZero: Revista de Ciência da Informação.        [ Links ]

13. Mueller, S. P. (2006) "A comunicação científica e o movimento de acesso livre ao conhecimento". Ciência da Informação 35(2): 27-38.        [ Links ]

14. Pechlaner, H.; Zehrer, A.; Matzler, K; Abfalter, D. (2004) "A ranking of international tourism and hospitality journals". Journal of Travel Research 42: 328-332.        [ Links ]

15. Rejowski, M. (1996) "Turismo e pesquisa científica". Papirus, Campinas.        [ Links ]

16. Rejowski, M.; Aldrigui, M. (2007) "Periódicos científicos em turismo no Brasil: dos boletins técnico-informativos às revistas científicas eletrônicas". Turismo em Análise 18(2): 255-268.         [ Links ]

17. Strehl, L. O. (2005) "O fator de impacto do ISI e a avaliação da produção científica: aspectos conceituais metodológicos". Ciência da Informação 34(1): 19-27.        [ Links ]

18. Testa, J. (1998) "A base de dados ISI e seu processo de seleção de revistas". Ciência da Informação 27(2): 233-235.        [ Links ]

19. Yamamoto, O. H. (2002) "Editorial". Estudos de Psicologia 7(1): 3-4.        [ Links ]

20. Yamamoto, O. H.; Menandro,  P. R. M.; Koller, S. H.; LoBianco,  A. C.; Hutz, C. S.; Bueno, J. L. O.; Guedes, M. C. (2002) "Avaliação de periódicos científicos brasileiros da área de psicologia". Ciência da Informação 31(2): 263-177         [ Links ]

Recibido el 26 octubre de 2009
Correcciones recibidas el 11 de noviembre de 2009
Aceptado el 30 de noviembre de 2009
Arbitrado anónimamente
Traducido del portugués

Creative Commons License All the contents of this journal, except where otherwise noted, is licensed under a Creative Commons Attribution License