RESEÑAS DE EVENTOS

Jornada de discusión sobre Sistemas y Procesos de Evaluación Científica

 

El 11 de noviembre 2013 en el Auditorio IDES tuvo lugar una reunion convocada por la Comisión interinstitucional de elaboración de criterios de evaluación para las Humanidades y Ciencias Sociales (CIECEHCS) para discutir el documento "Criterios de evaluacion de la produccion cientifica de las Humanidades y Ciencias Sociales"¹, en el cual se delinean ciertas criticas y posibles transformaciones vinculadas a los modos en que se realiza la evaluacion de las Humanidades y las Ciencias Sociales².
Este evento fue promovido por diversos espacios institucionales como la Asociacion Latinoamericana de Investigacion Cualitativa (ALIC), el Centro de Estudios e Investigaciones Laborales CONICET (CEIL-CONICET), el Centro de Antropologia Social y el Centro de Investigaciones Sociales del Instituto de Desarrollo Economico y Social (IDES-CAS/CIS CONICET), el Instituto de Investigaciones en Ciencias de la Educacion de la Universidad de Buenos Aires (IICE-UBA) y el Instituto de Investigaciones en Humanidades y Ciencias Sociales (IdIHCS-UNLP-CONICET).
La Jornada comenzo con la exposicion de algunas cuestiones vinculadas con el documento, para luego dar lugar a los comentarios de algunos investigadores. La apertura estuvo a cargo de Irene Vasilachis de Gialdino (CEIL-CONICET) quien senalo la importancia de tener en cuenta la especificidad de la produccion de cada campo disciplinar para no producir procesos de discriminacion. Asimismo, senalo que la resolucion 087 del Conicet establece que los criterios deben ser publicos y que deben respetar las disciplinas y areas de conocimiento, de esta manera, la problematica que convocaba esta Jornada se encontraba propiciada por el cumplimiento de esta resolucion. Luego se leyo una carta de Maria Teresa Sirvent (IICE-UBA), ausente por cuestiones de salud, en la cual manifestaba la fuerte relevancia y originalidad que tenia producir un espacio de encuentro articulado entre los investigadores que propusiera algunas herramientas para repensar la evaluacion de estas Ciencias.
En su disertacion, Juan Ignacio Piovani (IdICHS UNLP/Conicet) abordo la especificidad de la produccion cientifica en la Argentina y su sistema de evaluacion, y destaco que esa produccion se realizo historicamente buscando que las Ciencias Sociales y las Humanidades en Argentina se adecuaran al metodo cientifico de evaluacion de las ciencias naturales. Parte de la especificidad argentina se explicaria, segun este investigador, por los procesos dictatoriales, la organizacion institucional y la distribucion desigual de los recursos. Una forma en que se dio dicha adaptacion de las Ciencias Sociales a ese sistema de evaluacion fue generando un sistema propio de publicaciones, asi, frente a la dificultad de publicar en ingles, se han desarrollado revistas cientificas nacionales ―y no es un fenomeno particular de la Argentina sino de muchos otros paises― que editan en el idioma original de la produccion (castellano, portugues, frances, italiano).
Despues de sostener el fuerte ―y desigual― peso de las publicaciones de Humanidades y Ciencias Sociales a nivel regional, senalo que existen mas de 400 revistas en Ciencias Sociales en la Argentina, pero que sin embargo en SCOPUS hay solo 8 revistas indizadas por las Ciencias Sociales y solo 5 de las Ciencias Humanas. Destaco que existe un muy bajo nivel de citas entre los pares asi como una muy reducida circulacion de publicaciones, lo cual brinda una visibilidad pobre y escaso impacto, lo cual repercute en su evaluacion.
En este sentido, subrayo algunas particularidades argentinas:
- la fragmentacion y desequilibrio interno, con una distribucion equitativa muy baja,
- el escaso nivel relativo de profesionalizacion academica,
- la relevancia del libro,
- el modelo de produccion heterodoxo en donde aun el ensayo tiene su peso,
- la debilidad del dispositivo "estado de la cuestion" y "metodologia" en los trabajos publicados en revistas cientificas.

Al mismo tiempo senalo con datos, que es un mito pensar que publicar en ingles genera una mayor citacion de los pares, dado que estos citan mas a aquellos colegas que publican en la lengua materna, es decir: los autores argentinos citan mas a los argentinos cuando publican en castellano. Por ultimo, Piovani considero la importancia de pensar los criterios de evaluacion pero tambien las diversas fuentes que los operacionalizan.
En su intervencion, Elizabeth Jelin³ (CIS-IDES), al discutir el documento convocante recalco que los cruces disciplinarios no son una especificidad de las Ciencias Sociales, a la vez que remarco la importancia del contexto de sentido de este tipo de investigacion: un aqui y ahora diferente al de las ciencias duras. La investigadora sostuvo que ya no es pertinente hacer referencia a la dictadura militar para explicar la realidad cientifica argentina, que luego de treinta anos de democracia, debemos dar por acabadas esos planteos de las condiciones historicas: "lo digo desde una generacion para la cual fue importante el merito equivalente a causa de la situacion de la complejidad de la formacion en esos anos". Desde su actividad como evaluadora del European Research Council (ERC) expreso que cada vez esta teniendo menos importancia la reconocida base de datos bibliografica de resumenes y citas de articulos de revistas cientificas SCOPUS en la evaluacion de proyectos en el viejo continente y que, por el prestigio editorial y la evaluacion de pares, cada vez estan teniendo mas importancia los libros. Asimismo resalto, frente a la presencia de intereses empresariales propios de las grandes editoriales internacionales, la conveniencia de fortalecer redes latinoamericanas como Scielo y REDALYC, a la vez que marco el riesgo de que esas empresas los compren.
Por su parte, Susana Celman (UNER) desde un enfoque centrado en la evaluacion enfatizo que se han generado logicas en las cuales los investigadores observan primero los criterios de evaluacion para luego mirar su objeto y su abordaje, lo cual impacta fuertemente en los modos de produccion, formando un circulo vicioso en la construccion de nuevos conocimientos en las nuevas generaciones.
En su exposicion, Sabina Frederic (UNQUI) subrayo la falta de transparencia en la evaluacion, por la cual muchas veces se desconoce la ultima causa de un ascenso o una traba en la carrera del Conicet, lo que involucra tambien al sistema de comunicacion del organismo y la escasa visibilidad de sus logicas internas de evaluacion. Menciono, a la vez, la falta de co-gobierno dentro del Conicet, lo cual atenta contra la prevalencia de mecanismos mas democraticos, como los que se dan en las Universidades Nacionales.
Ademas manifesto que seria positivo que el Conicet contemplara otras formas de ser investigador teniendo en cuenta las particularidades de ciertos investigadores, esto es, atender a la existencia de trayectorias distintas con ponderaciones equivalentes. Por ultimo, expreso que el documento presentado no aborda cuestiones relativas a los procedimientos de evaluacion, asi como tampoco a las condiciones en que se realizan, muchas veces precarias.
Al tomar la palabra, Telma Piacente (UNLP) destaco la relevancia de distinguir entre la evaluacion que es realizada a becarios de la que se realiza para la promocion en la carrera de Investigador dado que, segun su perspectiva, en la primera se compite con otros pares y en la segunda solo con la propia produccion y actividad cientifica. A su vez, hizo referencia a los inconvenientes y presiones que se dan entre las decisiones de Junta y las Comisiones, por perspectivas encontradas acerca de la diferente valorizacion de ciertos candidatos y sus trayectorias.
En su intervencion, Fernanda Beigel (UNCuyo) remarco que el prestigio internacional se encuentra centrado en una triple logica: la afiliacion y visibilidad institucional, la disciplina especifica y la lengua; y que pueden mencionarse cuatro grandes circuitos de relevancia en torno a la produccion cientifica: el mainstream (importantes empresas editoriales), las redes transnacionales, los circuitos regionales (LATINDEX, REDALYC, SCIELO) y los nacionales (CAYCIT). La investigadora presento datos muy interesantes de un estudio en prensa en el cual se siguen las publicaciones de America Latina buscando prestar atencion, entre otras cuestiones, a las fortalezas y debilidades del circuito regional. Con respecto al universo argentino subrayo que existen tres circuitos diferentes de publicaciones: revistas cientificas indizadas (en CAYCIT, LATINDEX, REDALYC y SCIELO), revistas con referato pero no indizadas y revistas nacionales sin referato; pero que el Conicet valoriza de diverso modo cada una de ellas lo cual, senalo Beigel, profundiza la heterogeneidad cultural y la segmentacion en el espacio de producciones cientificas.
La Jornada, mas alla de estas exposiciones, estuvo atravesada por intervenciones de diferentes investigadores que, entre otras cuestiones, destacaron la falta de transparencia en los criterios de evaluacion, la complejidad de la evaluacion de los casos particulares que no cumplen con escalas cuantitativas rigidas pero que tienen un merito equivalente, la poca relevancia dada a la transferencia (mas alla de estar postulada), y la dificultad de la intervencion de criterios de las ciencias duras como criterio evaluador muchas veces homogeneizante.
Sin lugar a dudas, este es un debate que debera continuar y extenderse, una discusion que involucra no solo al Conicet sino tambien a la investigacion en universidades y centros de investigacion. Si se tiene en cuenta que el Area disciplinar del Conicet dentro de la cual se encuentran las Ciencias de la Educacion se denomina Psicologia y Ciencias de la Educacion y que existe un incremento en el avance e interes de subdisciplinas dentro de ese espacio, como las neurociencias, se hace necesario entonces reflexionar y participar en este debate que debe ser sumamente valorado para atender al crecimiento disciplinar de las Ciencias de la Educacion dentro del sistema cientifico nacional, cuestion relevante tanto para la consolidacion de una nueva generacion de investigadores jovenes con dedicacion exclusiva, como para la construccion de politicas educativas que cuenten con un mayor y mas actualizado conocimiento cientifico acumulado. Para ello, sera indispensable seguir despejando mitos, proponiendo criterios (administrativos⁴ y evaluativos) y consolidando posiciones respecto al rol que ocupan las Ciencias de la Educacion y su profesionalizacion academica en un tiempo de fortalecimiento de la politica cientifica argentina.

Nicolás José Isola

Becario de Investigacion Conicet en la FLACSO-Sede Argentina.
Profesor Adjunto Regular Universidad Nacional de Lanus.

Notas

¹ CIECEHCS (2012), Criterios de evaluacion de la produccion cientifica de las humanidades y ciencias sociales, Novedades CEIL No 37, diciembre. URL: http://www.ceilconicet.gov.ar/divulgacion/articulo-del-mes/criterios-de-evaluacion-de-la-produccion-cientifica-de-lashumanidades-y-ciencias-sociales-ciecehcs-comision-interinstitucional-de-elaboracion-de-criterios-deevaluacion-para-las-humanidades-y-cie/ consultado 12/11/2013.         [ Links ]

² Agradezco la lectura y los oportunos aportes de Mariana Nobile sobre el primer borrador de esta resena.

³ Puede verse un documento muy reciente recomendado por la autora titulado "La geopolitica internacional del conocimiento" en http://habito1.com.ar/ciencia/2013/10/la-geopolitica-internacional-del-conocimiento/ consultado 11/11/2013.

⁴ Que transparenten los procesos mediante actas labradas en tiempo y forma.