SciELO - Scientific Electronic Library Online

 
vol.21 issue2The dual role of hypotheses in ecological research and its association with the hypothetico-deductive method¿Qué estimula y qué selecciona el sistema científico argentino?: Ampliando el debate. Respuesta a Galetto author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Article

Indicators

  • Have no cited articlesCited by SciELO

Related links

  • On index processCited by Google
  • Have no similar articlesSimilars in SciELO
  • On index processSimilars in Google

Bookmark


Ecología austral

On-line version ISSN 1667-782X

Ecol. austral vol.21 no.2 Córdoba June 2011

 

DEBATE

¿Qué estimula y qué selecciona el sistema científico argentino? Reflexiones sobre el artículo de Farji-Brener & Ruggiero

Leonardo Galetto*

Instituto Multidisciplinario de Biología Vegetal (Universidad Nacional de Córdoba-CONICET). Córdoba, Argentina.

* Instituto Multidisciplinario de Biología Vegetal (IMBIV), Casilla de Correo 495 – 5000, Córdoba, Argentina. Email: leo@imbiv.unc.edu.ar

Recibido: 28 de enero de 2011;
Fin de arbitraje: 15 de marzo de 2011;
Revisión recibida: 24 de abril de 2011;
Aceptado: 14 de mayo de 2011


El artículo de Farji-Brener & Ruggiero (2010) resulta interesante para seguir debatiendo sobre el sistema de evaluación científico-académico de los investigadores en Argentina. Su título nos lleva a intuir una reflexión amplia, aunque en el contenido del trabajo queda claro que se hace referencia exclusivamente a las evaluaciones de becarios e investigadores del CONICET, en particular aquellas del área de las ciencias biológicas. Dado que el sistema de evaluación del CONICET siempre puede ser mejorado, valoro el esfuerzo de los autores por promover el debate y hacer nuevas propuestas.

Los autores proponen que la actual modalidad de evaluación del CONICET estaría promoviendo comportamientos especulativos en los investigadores a través de seleccionar estrategias específicas que resultan "premiadas". En el ensayo se plantean dos dilemas que se utilizan para analizar la modalidad de evaluación del CONICET. Se presentan datos de una encuesta, cerrada y con dos preguntas, diseñada "ad hoc" para evaluar la percepción de los ecólogos (becarios e investigadores) sobre los dos dilemas. Finalmente, se incluye una sección con propuestas específicas, a modo de recomendaciones para mejorar la coherencia de los criterios de evaluación.

El ensayo es precedido por una sección en la que se presenta una metáfora sobre lo que estimularía y seleccionaría el sistema de evaluación de CONICET, y que incluye la hipótesis central del ensayo: "el sistema científico argentino teóricamente estimula paciencia, pero en la práctica muchas veces selecciona impulsividad".

Al respecto, la utilización de metáforas en ciencia ha sido y es extremadamente útil. Sin embargo, se sabe que cuando la divulgación de la metáfora es amplia puede ocurrir que se confunda a la metáfora con la realidad. Imaginemos el riesgo de confundir la metáfora del mango y el mono en un contexto evolutivo con la compleja realidad del sistema de evaluación del CONICET. Por otro lado, el juego de palabras elegido para darle título a la primera sección del artículo, y que se relaciona directamente con la metáfora sobre el sistema de evaluación, también hace alusión a la posibilidad (y a las dificultades) de no ser seleccionado: "El riesgo de quedarse sin un mango". El uso del lenguaje es tendencioso ya que "mango" también refiere a "dinero" y en el ensayo se analizan distintas instancias de una carrera profesional que podrían desarrollar las personas que están realizando un doctorado. Es decir, en una primera instancia el sistema de evaluación selecciona los mejores candidatos, dentro de un universo de jóvenes doctores que tienen vocación por la investigación, que podrían ser exitosos como tecnólogos o científicos. En cambio, en otras etapas de la Carrera del Investigador en las que se puede promover de categoría, el sistema de evaluación analiza si los investigadores cumplieron con las distintas tareas y obligaciones sobre la promoción general del conocimiento que permiten al sistema funcionar de manera adecuada, esperándose que todas ellas se desarrollen según las distintas circunstancias y capacidades individuales. En resumen, no comparto la perspectiva general sobre el sistema de evaluación del CONICET que se presenta a través de la metáfora ya que los criterios utilizados se reducen excesivamente.

En su ensayo, Farji-Brener & Ruggiero (2010) simplifican de forma consistente a través de dicotomías el sistema de evaluación del CONICET. En cambio, en mi experiencia, antes de cualquier instancia de evaluación dentro de una Comisión Asesora (CA) del CONICET se debate y reflexiona sobre varios criterios que serán tenidos en cuenta para acordar la mejor y más justa decisión posible, a partir de una pluralidad de opiniones. Se trabaja a partir del respeto por las decisiones de una mayoría, como en cualquier sistema democrático. Ese disenso permanente es lo que garantiza una intersubjetividad lo más justa posible. En esas instancias, se intenta equilibrar el volumen de trabajo que se debe realizar en un determinado tiempo y la necesidad de realizar evaluaciones a través de la ayuda de los distintos indicadores sobre el desempeño científico-académico y la promoción general del conocimiento. La aplicación de los distintos criterios a cientos de casos particulares determina una diversidad de circunstancias que son debatidas en plenario, caso por caso. Desde mi punto de vista, la realidad del sistema de evaluación es más compleja, y por ello considero que se justifica debatir los dilemas planteados y analizar las propuestas presentadas por Farji-Brener & Ruggiero (2010).

Primer dilema: doctorarse o publicar

En el artículo de Farji-Brener & Ruggiero (2010) se plantean supuestas incoherencias entre "lo que se estimula y selecciona" a través del sistema de evaluación del CONICET durante las etapas iniciales de un investigador, específicamente cuando se sustancia el concurso para ingresar a la Carrera del Investigador Científico y Tecnológico del CONICET (CICyT). Se menciona que para tener cierta probabilidad de ingresar a la CICyT es necesario ser doctor y acreditar 4-5 publicaciones científicas en revistas indexadas, lo cual remite a un supuesto dilema entre hacer un buen doctorado ("paciencia") y alcanzar cuatro publicaciones ("impulsividad"). El dilema se plantea sobre las siguientes premisas: (a) "Para hacer una buena tesis doctoral, los ecólogos debemos invertir buena parte de nuestras vidas en…" varias actividades (puede consultarse el listado completo en el texto del ensayo), y que "el desarrollo de una buena tesis doctoral incluye procesos como la generación, estímulo o fortalecimiento de la vocación que no necesariamente se miden con la producción de buenos manuscritos", (b) "para tener esa cantidad de publicaciones al finalizar el doctorado se debe desatender parcialmente el desarrollo de la tesis" o bien apelar a estrategias como "realizar otras investigaciones, generalmente de menor envergadura y que pueden ser rápidamente publicables, o apresurarse a publicar los primeros capítulos de la tesis sin el necesario tiempo de digestión intelectual", (c) no se puede realizar simultáneamente un buen doctorado y publicar 4 buenos artículos en un lapso de 6 años (5 años de beca doctoral más 1 año de beca postdoctoral).

Desde mi punto de vista, las premisas son muy débiles, no son mutuamente excluyentes, ni necesariamente verdaderas, por lo cual se diluye el supuesto dilema al que se enfrentan los jóvenes investigadores. Si se interpreta a la formación en ciencia y tecnología como un proceso y se considera, entonces, que una persona que se está formando como científico o tecnólogo debe transitar las distintas etapas de ese proceso, no tiene sentido centrar la atención en los distintos productos de ese proceso (e.g., tesis, publicaciones, patentes, etc.) y mucho menos plantear que para alcanzar esos productos durante un mismo proceso se deben transitar caminos antagónicos o parcialmente disociados. La primera premisa supone, además, que no hay tiempo para realizar estas dos actividades de manera adecuada y también que las actividades para desarrollar la tesis de doctorado son suficientes para la formación de un joven investigador y que la publicación de trabajos científicos no sería tan importante. La segunda premisa supone que los trabajos de investigación cortos son de menor calidad que los desarrollados en un tiempo prolongado y que es apresurado publicar capítulos de una tesis durante el desarrollo del doctorado, lo cual no es una generalidad y por lo tanto no necesariamente verdadero. La primera y tercera premisas quedan invalidadas si se tienen en cuenta los resultados del último concurso para el ingreso a la CICyT, donde se presentaron alrededor de 900 candidatos y más de 75% alcanzaron o superaron los parámetros mencionados (tesis de doctorado y las publicaciones científicas de calidad) que se consideraron como base para recomendar su incorporación, con lo cual fue necesario aplicar un orden de mérito para cubrir el número de vacantes disponibles para la CICyT.

Además, considero necesario aclarar que las CA del CONICET (hago referencia a las CA de las distintas áreas del conocimiento y la Junta de Calificación y Promoción que asesoran al Directorio para tomar las mejores decisiones) no trabajan de la manera simplificada que describen Farji-Brener & Ruggiero (2010) y mucho menos que priorizan la cantidad sobre la calidad de artículos publicados al momento de realizar un orden de mérito de los postulantes. Para ejemplificar lo anterior, supongamos que se tuviese que hacer un orden de mérito entre los siguientes tres candidatos que solicitan ingreso a la CICyT, donde el candidato A tiene 4 publicaciones derivadas de su tesis de doctorado (3 de ellas como primer autor en las mejores revistas de su especialidad y aun no acredita formación de recursos humanos), el candidato B tiene 7 publicaciones (1 como primer autor en una muy buena revista y derivada de su tesis y 6 como coautor en distintos temas y también en muy buenas revistas aunque no directamente relacionados a su tesis), y un tercer candidato C con 4 publicaciones derivadas de su tesis de doctorado (1 como primer autor y 3 como coautor en las mejores revistas de su especialidad, y además con 2 tesis de grado dirigidas). Es altamente probable que se recomiende al candidato A sin demasiadas dudas porque estaría demostrando su capacidad para escribir buenos artículos, que a su vez derivan de una muy buena tesis de doctorado. En cambio, al menos en la CA de Biología, es muy probable que los candidatos B y C no sean recomendados con estos antecedentes porque quedarían dudas sobre su capacidad para producir conocimiento científico al no demostrarlo con varios trabajos de primeras autorías, los que permiten inferir sobre sus capacidades para liderar esas investigaciones. Lo que subyace detrás de estas presunciones es que un investigador debe ser capaz de ser creativo, original y tener la capacidad de plasmarlo a través de recorrer una buena parte del proceso de producción del conocimiento. En el caso del candidato B quedarían dudas además si no se trata de una persona con un perfil más técnico que científico, quizás con el mérito de formar parte de un grupo muy productivo o bien sólo colabora con alguna capacidad técnica en distintos trabajos pero sin gran protagonismo intelectual. En el caso del candidato C muy probablemente se consideraría que si bien es muy loable su compromiso en la formación de recursos humanos, lo más importante para esta etapa de su carrera no fue suficientemente atendido. Es decir, todo lo que un candidato logre en la formación de recursos humanos "después" de demostrar su capacidad para desarrollar una buena tesis doctoral que derive en trabajos científicos será muy valorado, pero no tanto "antes" de demostrar lo primero. En resumen, se espera que los candidatos para ingresar a la CICyT se doctoren con un excelente trabajo de tesis y "además" publiquen trabajos científicos.

Segundo dilema: publicar o dirigir

Este segundo dilema se plantea para mostrar supuestas incoherencias entre "lo que se estimula y se selecciona", a través del sistema de evaluación del CONICET, durante las etapas posteriores al ingreso a la CICyT, específicamente para los cambios de categorías. Se menciona que para ascender a categorías intermedias (Adjunto, Independiente) de la CICyT se valoran básicamente las publicaciones científicas, mientras que para promover a las categorías más altas (Principal) el sistema exige haber dirigido una cierta cantidad de tesis doctorales finalizadas. Esta nueva dicotomía remite a un supuesto dilema para los jóvenes investigadores entre apostar al futuro inmediato, aumentando la tasa de publicación ("impulsividad"), o apostar a un futuro lejano e invertir tiempo y energía en dirigir tesis doctorales ("paciencia"). El dilema se plantea sobre las siguientes premisas: (a) para ascender a la categoría de investigador Principal es necesario contar con un mínimo de seis tesis de doctorado finalizadas, (b) "Dado que el día posee 24 horas y la vida de los investigadores es limitada, la inversión de tiempo en una actividad por lo general implica la desatención de otra", (c) como consecuencia de la premisa anterior, "si uno desea dirigir una cierta cantidad de tesis doctorales de forma responsable, debe desatender parcialmente los proyectos propios de investigación, reduciendo la tasa de publicación de los artículos asociados."

En este caso también las premisas son falsas o extremadamente débiles, por lo cual se diluye el supuesto dilema al que se enfrentan los jóvenes investigadores si se pusieran a pensar cómo ascender de categoría lo más rápidamente posible en la CICyT. La primera premisa es falsa porque el número mínimo de tesis doctorales "finalizadas" que se espera para un investigador que ha permanecido un periodo de 10-15 años en la CICyT es tres y no seis, con lo cual los cálculos y las largas especulaciones que se realizaron sobre las estrategias que deberían adoptarse para en un futuro ascender a la categoría de investigador Principal carecen de sentido. Por otro lado siempre hay excepciones a los lineamientos generales adoptados para las distintas instancias de evaluación, las que se fundamentan luego de mucha discusión y reflexión. Por ejemplo, ha ocurrido que un investigador con una producción científica En este caso también las premisas son falsas o extremadamente débiles, por lo cual se diluye el supuesto dilema al que se enfrentan los jóvenes investigadores si se pusieran a pensar cómo ascender de categoría lo más rápidamente posible en la CICyT. La primera premisa es falsa porque el número mínimo de tesis doctorales "finalizadas" que se espera para un investigador que ha permanecido un periodo de 10-15 años en la CICyT es tres y no seis, con lo cual los cálculos y las largas especulaciones que se realizaron sobre las estrategias que deberían adoptarse para en un futuro ascender a la categoría de investigador Principal carecen de sentido. Por otro lado siempre hay excepciones a los lineamientos generales adoptados para las distintas instancias de evaluación, las que se fundamentan luego de mucha discusión y reflexión. Por ejemplo, ha ocurrido que un investigador con una producción científica institucional para permitir repartir entre el mayor número de colegas posible las cargas públicas referidas al funcionamiento de las instituciones de ciencia y tecnología del estado (vale aclarar que estas tareas no son optativas sino obligatorias, según el estatuto vigente que reglamenta los derechos y obligaciones de los investigadores de la CICyT). El grado de madurez alcanzado por cada investigador determina el periodo de permanencia en cada categoría, donde idealmente debería estar consolidada una etapa antes de pasar a la siguiente. Esto deja de manifiesto que hay actividades que se desarrollan primero y otras después, como consecuencia de poder consolidar las anteriores. En resumen, no es incoherente evaluar de una manera en las categorías iniciales y de otra manera en las más altas de la CICyT porque los parámetros no son los mismos, ni son jerarquizados de igual manera en cada una de esas instancias, al esperarse un desarrollo gradual del investigador durante su carrera.

Análisis de las propuestas específicas

Farji-Brener & Ruggiero (2010) introducen tres propuestas específicas para intentar "mejorar la coherencia de los criterios de evaluación del CONICET": (a) incorporar la calidad de las tesis doctorales como criterio de evaluación para el ingreso a la CICyT, (b) la formación de recursos humanos en desarrollo debería considerarse de manera similar a las tesis dirigidas finalizadas como criterio para ascender a las categorías más altas de la CICyT, y (c) los criterios de evaluación deberían ser publicitados junto con los llamados a concurso de ingreso y al momento de los pedidos de promoción en la CICyT.

Ingreso a la Carrera del Investigador: evaluación de la tesis

Cuando se propone volver a evaluar la calidad de la tesis doctoral, de manera implícita se está suponiendo que la evaluación por los miembros de tribunales que leyeron la tesis para los distintos programas de Doctorado no sería un buen parámetro, o al menos que se debería homogeneizar esa evaluación en el seno de cada una de las CA al momento de generar un orden de mérito entre los candidatos a ingresar a la CICyT. Paradójicamente, como se supone que sería imposible esa tarea para los miembros de una CA del CONICET, se propone recurrir al dictamen de los pares evaluadores solicitándolo a cada programa de Doctorado. Creo que la propuesta no es superadora porque se incrementa la burocracia de forma innecesaria ya que la aprobación de la tesis por un tribunal de pares especialistas garantizaría lo que pretende el CONICET en esta instancia. A través de la modalidad actual de evaluación por las CA se analiza la calidad de las publicaciones científicas de un candidato, su protagonismo, si están o no relacionadas a su tesis de doctorado, e implícitamente también se está evaluando la calidad de la tesis. Además, cuando se analizan las publicaciones, se evalúan otras habilidades del candidato como conocer y seleccionar la bibliografía relevante de un tema, organizar las ideas y plasmarlas en una introducción que sea sometida a pares evaluadores de nivel internacional, realizar el mejor análisis de datos posible, demostrar el valor del trabajo realizado, entre otras. En resumen, defender con éxito la tesis de doctorado no sería "suficiente" como elemento de juicio principal para elegir los mejores candidatos para el ingreso a la CICyT. Las publicaciones científicas o las patentes desarrolladas, en cambio, dan elementos de juicio adicionales mucho más específicos sobre la potencialidad de esos candidatos como miembros exitosos en la CICyT.

Promociones en la Carrera del Investigador: no es lo mismo tesis en desarrollo que tesis concluidas

¿Cuál sería la ventaja de considerar las tesis "en desarrollo" en igualdad de condiciones a las tesis finalizadas, si los indicadores que se consideran necesarios para promover de una categoría a otra son flexibles y adoptados luego de una reflexión conjunta dentro de cada CA? Por un lado, existe un porcentaje de tesis en desarrollo que nunca son defendidas; por lo tanto considerar solo las tesis finalizadas como prueba de capacidad es mucho más objetivo que "proyectos" de tesis en desarrollo. Por otro, y más importante, no se trata sólo de llenar casilleros para cumplimentar los requisitos y así acceder a las categorías más altas de la CICyT. Se colocan algunos parámetros generales, pero cada caso es ampliamente discutido en cada una de las CA y analizado en el contexto de cada especialidad antes de recomendarse una promoción o bien proponer que el investigador permanezca un tiempo más en su categoría. La mayoría de los investigadores que solicitan promoción a las categorías más altas tienen una sólida trayectoria científica refrendada con publicaciones, han liderado un programa de investigación, han realizado actividades de gestión académica y promoción general del conocimiento, entre otros aspectos que se tienen en cuenta en esas instancias, y también han formado recursos humanos.

Promociones en la Carrera del Investigador: no es lo mismo establecer un marco general de referencia que otro restringido con requisitos específicos

Los cambios de categoría en la CICyT se rigen por parámetros muy generales que están definidos en el Estatuto del Investigador Científico y Tecnológico que se encuentra publicado en el sitio web del CONICET (http://www.conicet.gov.ar/web/conicet.acercade.normativa/general-para-las-carreras-del-investigador-y-del-personal-de-apoyo), que además deja en claro que "El paso de una Clase a otra es un hecho que eventualmente podrá producirse, pero no se considera como algo que normalmente deberá ocurrir entre todas las personas que ingresan a la Carrera." Ese marco de referencia fue generado por personas que con seguridad reflexionaron bastante para hacer explícitas unas pautas generales lo suficientemente flexibles como para ser modificadas según el contexto de análisis. El CONICET ha cambiado muchísimo desde su creación hasta la fecha, y de manera radical en la última década. Sin embargo, aquel estatuto sirvió de marco general y permitió evaluar según contextos tan cambiantes dentro y entre áreas de conocimiento. Resulta claro que esta falta de rigidez distingue entre conceptualizar el desarrollo de una carrera con ascensos automáticos y predefinidos según se cumplan requerimientos muy detallados, y otra que propone ascensos considerando merecimientos con cierta flexibilidad, según los contextos cambiantes en el tiempo y propios de cada área. Desde mi punto de vista, es sabio contar con un marco general que incluya y considere la diversidad de situaciones entre las CA de distintas áreas del conocimiento, e incluso que dé la posibilidad de adecuación dentro de una misma CA según el contexto específico de un área temática. De todos modos, si se quisiera cambiar el estatuto vigente es necesario hacerlo a través de una nueva ley (o nuevo decreto presidencial) que debe ser aprobada por el Congreso de la Nación. De encararse una iniciativa de esta naturaleza, sería prudente una reflexión general sobre muchas otras cuestiones y no sólo sobre aspectos puntuales relacionados a la evaluación de investigadores.

El debate se amplía: debilidades y fortalezas del sistema de evaluación

Como se mencionara al principio, el sistema de evaluación del CONICET es perfectible y, por lo tanto, se pueden identificar debilidades. Elijo mencionar aquí aquellas debilidades relacionadas de forma directa a los principales temas debatidos: (a) la falta de compromiso de aquellos pares evaluadores especialistas que envían evaluaciones muy escuetas y descriptivas, disminuye la calidad del proceso de evaluación de la CA ya que son ellos los que aportan valiosos elementos de juicio al momento de tomar decisiones, (b) el énfasis excesivo en la valoración de las publicaciones internacionales por sobre las regionales está provocando que algunas áreas de conocimiento o temas de interés regional vayan siendo de a poco abandonados, con perjuicios potenciales para el país, (c) el número creciente de casos que deben resolver algunas CA atenta contra la posibilidad de confeccionar dictámenes excelentes sobre las decisiones y recomendaciones que se realizan, un aspecto central del sistema de evaluación si se tiene en cuenta que esos escritos son el vínculo entre las CA y las personas evaluadas. Es decir, en el dictamen que recibe cada investigador muchas veces no se logra reflejar de manera adecuada la riqueza y la complejidad del proceso de evaluación. Todas estas debilidades pueden ser subsanadas a través de soluciones creativas, cambiando algunos aspectos administrativos y otros sobre los criterios de funcionamiento de las CA.

Las fortalezas que se pueden destacar en el sistema de evaluación vigente para los investigadores y becarios del CONICET son: (a) la periodicidad, (b) la rigurosidad con que se aplican los parámetros mínimos establecidos en las distintas CA para cada una de las cohortes evaluadas, (c) las decisiones que son alcanzadas por el voto de una mayoría de investigadores de distintas áreas del conocimiento y lugares del país, luego de debatir y argumentar durante un tiempo razonable sobre cada uno de los casos analizados, (d) la flexibilidad del sistema para considerar casos excepcionales en las distintas instancias de evaluación, (e) la posibilidad de apelación por eventuales errores cometidos en alguna instancia de evaluación y la eventual rectificación.

El sistema de evaluación periódico, que exige un rendimiento mínimo, ha permitido que la planta de investigadores del CONICET se destaque de forma clara en comparación con otros organismos de Ciencia y Tecnología de nuestro país. Distintos indicadores muestran que este énfasis en la evaluación implementado durante los últimos 15 años ha sido muy positivo ya que se incrementaron la calidad en las tesis doctorales, el número de colaboraciones entre grupos dentro y entre países, el número y la calidad de las publicaciones científicas, y el desarrollo y consolidación de excelentes grupos de investigación. La modalidad y los parámetros de evaluación actuales del CONICET, con distintas instancias de intersubjetividad creciente, garantizan una homogeneidad razonable en las evaluaciones. Si bien reconozco que el sistema de evaluación tiene debilidades que debemos corregir entre todos, considero que sus fortalezas implican valores que debemos seguir defendiendo.

AGRADECIMIENTOS

A dos revisores anónimos que, con sus observaciones, permitieron mejorar versiones anteriores de este escrito. A Javier Lopez de Casenave, Luis Marone, Martín Aguiar y especialmente a Flavio Quintana y Carolina Torres por el intercambio de opiniones que enriquecieron la perspectiva de varias de las ideas aquí presentadas. Finalmente, a todos los colegas de las distintas CA que integré, ya que con sus opiniones ampliaron mis perspectivas sobre el sistema de evaluación. Vale aclarar que ninguna de las personas mencionadas necesariamente acuerda, en forma parcial o total, con lo que aquí se dice.

BIBLIOGRAFIA

1. FARJI-BRENER AG & A RUGGIERO. 2010. ¿Impulsividad o paciencia? Qué estimula y qué selecciona el sistema científico argentino. Ecología Austral: 20:307-314         [ Links ]