SciELO - Scientific Electronic Library Online

 
vol.21 issue2¿Qué estimula y qué selecciona el sistema científico argentino?: Reflexiones sobre el artículo de Farji-Brener & Ruggiero author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Article

Indicators

  • Have no cited articlesCited by SciELO

Related links

  • On index processCited by Google
  • Have no similar articlesSimilars in SciELO
  • On index processSimilars in Google

Bookmark


Ecología austral

On-line version ISSN 1667-782X

Ecol. austral vol.21 no.2 Córdoba June 2011

 

DEBATE

¿Qué estimula y qué selecciona el sistema científico argentino? Ampliando el debate. Respuesta a Galetto

Alejandro G Farji-Brener* & Adriana Ruggiero

Laboratorio Ecotono, CRUB-UNComa-INIBIOMA-CONICET. Bariloche, Argentina.

* Laboratorio Ecotono, CRUB-UNComa-INIBIOMA-CONICET. Pasaje Gutierrez 1125, (8400) Bariloche, Argentina. Email: alefarji@yahoo.com

Recibido: 31 de mayo de 2011;
Aceptado: 16 de junio de 2011

 

Una profesora de matemáticas mira fijo los exámenes de dos de sus estudiantes. La docente debe tomar una decisión sobre cómo calificar una pregunta. Ambos la respondieron correctamente, pero utilizaron formas diferentes de llegar al mismo resultado: uno utilizó una lógica concisa y directa, y otro eligió un camino tortuoso y complejo. La profesora no contemplaba evaluar el razonamiento sino solo considerar la veracidad de las respuestas (el examen posee 35 preguntas, debe corregir un total de 348 exámenes y llegar a su casa para cenar). En consecuencia, se encuentra ante un conflicto: ¿ambos estudiantes merecen la misma calificación? La diferenciación entre procesos y productos y la estimación de su valor relativo es un conflicto común en muchos ámbitos de la vida. En los viajes, a veces lo importante es el camino y otras el destino. En el terreno filosófico, se debate si el fin justifica los medios. En el ámbito pedagógico, se duda si el resultado de un examen final es un buen estimador del aprendizaje. En ecología, se sabe que un mismo patrón puede ser producido por muchos procesos (Levin 1992). Nosotros creemos que la controversia de considerar a los productos como estimadores no sesgados de los procesos también alcanza al ámbito científico-académico, y que es el principal motivo de las diferentes opiniones que motivan este debate.

Todo por un mango

En nuestro artículo anterior, ilustramos el conflicto entre esperar a obtener mayores beneficios (paciencia) o conformarse con menores beneficios pero instantáneos (impulsividad) utilizando la imagen de un mono decidiendo consumir en el momento lo poco aprovechable de un mango verde o esperar a que el mango madure para comerlo entero. Proponíamos que este conflicto también se manifestaba en la vida académica, planteábamos algunos ejemplos de ello, y sosteníamos que a veces el CONICET estimulaba la paciencia pero finalmente premiaba la impulsividad. En su respuesta a nuestro artículo, Leonardo Galetto (de aquí en mas, LG) valora nuestro esfuerzo en promover el debate sobre el sistema de evaluación individual del CONICET, pero no le agrada nuestra metáfora de monos y mangos, disiente en nuestro planteo central y sostiene que las premisas que fundamentan nuestros ejemplos sobre las incoherencias entre lo que se inicialmente se estimula y finalmente se premia son débiles, no mutuamente excluyentes, y no necesariamente verdaderas. Amerita, entonces, aclarar algunos aspectos sobre estas dicotomías y ampliar nuestras argumentaciones para continuar el debate, ya no sobre monos y mangos, sino sobre dicotomías, procesos y productos.

¿Son las dicotomías descriptas reales? La frazada corta también cubre la vida académica

En ecología es conocido que todas las funciones no pueden desarrollarse con su máximo potencial cuando suceden en forma simultánea. Cuando los recursos son limitados, la asignación de energía a una tarea va normalmente en desmedro de su empleo en otra (Kozlowski 1992). Esta teoría normalmente se ilustra con alguien que desea taparse con una frazada corta: o deja afuera sus pies, o deja afuera su cabeza. LG plantea que esto no ocurre en la vida académica: sostiene que un estudiante aplicado puede realizar una buena tesis doctoral y simultáneamente publicar buenos manuscritos en el lapso de 6 años, y que un investigador puede publicar trabajos que son producto de sus proyectos independientes y, en forma paralela, dirigir responsablemente varios becarios doctorales. Nosotros consideramos que los argumentos oportunamente expuestos siguen vigentes. Aunque algunos estudiantes de postgrado puedan publicar buenos artículos derivados de su tesis casi en simultáneo al desarrollo de la misma, creemos que este hecho (generalmente poco habitual desde nuestra experiencia) no necesariamente es lo único que refleja la capacidad de un candidato como joven científico. Un estudiante puede haber realizado una muy buena tesis y demorarse en la publicación de los artículos asociados debido a su tema de trabajo, tiempos de muestreo, enfoque metodológico o situaciones personales ajenas a su calidad como investigador. El hecho de que una tesis produzca manuscritos antes que otra no implica necesariamente que sea mejor (ver Loehle 1990). Similarmente, puede haber investigadores formados que solamente acepten becarios si éstos realizan la tesis dentro de la temática específica que habitualmente desarrolla el director. Sin embargo, puede haber otros que opten por supervisar el trabajo de estudiantes en un contexto teórico más amplio, dando lugar al desarrollo de ideas propias de interés conceptual dentro de una determinada disciplina. Nuevamente, esto no implica que el primero sea mejor director que el segundo. Es posible que restringir la aceptación de tesistas doctorales bajo un "programa de investigación" (sensu LG) sea más eficiente y productivo para el sistema. Pero en el segundo caso se ganan valores intangibles como la creación de conocimiento diverso, nuevas líneas potenciales de trabajo y la formación de investigadores autónomos, cualidades enriquecedoras tanto para el director como para el dirigido (Farji-Brener 2007, Lee et al., 2007). Resumiendo, creemos que en términos generales las dicotomías entre doctorarse y publicar, y entre dirigir y publicar existen; que ambas actividades son relevantes para el quehacer científico, y que el sistema habitualmente promueve más una de las opciones pero termina premiando la otra. Estos argumentos provienen no solo de nuestro razonamiento, sino del contacto permanente que tenemos con estudiantes e investigadores en diferentes etapas de su desarrollo académico. Coincidimos con LG que las actividades de doctorarse o publicar y la de publicar o dirigir no son necesariamente excluyentes, pero sostenemos que la asignación de tiempo y energía a una inexorablemente le quita tiempo y energía a la otra. Es probable (y deseable) que estas actividades eventualmente se potencien y complementen. Es muy posible que una buena tesis sea la semilla de buenos manuscritos, y que el intercambio con buenos estudiantes incentive la imaginación del director para generar nuevos proyectos. Pero los frutos de estas interacciones positivas generalmente van a destiempo de lo exigido por el sistema. En consecuencia, si estas dicotomías temporales son reales, consideramos que el CONICET estimula cosas diferentes a las que premia. Por un lado, promueve la realización de un doctorado para ingresar a la CICyT pero al momento de evaluar un candidato sólo considera la producción de manuscritos sin incluir la calidad de la tesis. Por otro lado, estimula la producción de manuscritos en las primeras etapas como investigador sin considerar la formación de recursos humanos, cuando este ítem será limitante para promover en el futuro.

Ampliando el primer dilema: doctorarse o publicar

La ciencia no existiría sin las publicaciones científicas. La divulgación de los resultados de las investigaciones a los pares es uno de los requisitos indispensables para que se construyan los andamiajes del conocimiento. Por lo tanto, es esperable que alguien que desea ser científico deba no solo poseer una formación académica superior, sino que sepa comunicar sus descubrimientos. En este sentido, coincidimos plenamente con LG cuando propone que "…se espera que los candidatos para ingresar a la CICyT se doctoren con un excelente trabajo de tesis y publiquen trabajos científicos". Sin embargo, consideramos que las evaluaciones actuales de la CICyT priorizan las publicaciones científicas sin valorar la calidad de las tesis doctorales. Dicho de otra forma, consideran a la tesis doctoral como un requisito formal que debe ser completado para, ahora si, poder evaluar la capacidad del postulante por medio de sus publicaciones. Nosotros sostenemos que ambas cosas, la realización de una buena tesis y la publicación de buenos manuscritos, son aspectos que indican la capacidad del postulante y que ambos deberían tenerse en cuenta al momento de evaluar un ingreso a carrera de investigador. La realización exitosa de una buena tesis indica la capacidad de un joven científico de planificar y llevar a cabo un trabajo de investigación a largo plazo, y los manuscritos reflejan la capacidad de comunicar dicha información en un formato mundialmente aceptado por la comunidad científica. Adicionalmente, la calidad de una tesis no necesariamente se ve reflejada por la publicación de buenos manuscritos. Como dijimos antes, hay excelentes tesis las cuales por diversas circunstancias tardan en transformarse en buenos manuscritos, y hay excelentes manuscritos que no necesariamente son productos de una buena tesis. Tal como sostiene LG, defender exitosamente una tesis no es suficiente como elemento de juicio para elegir a los mejores candidatos para el ingreso a la CICyT. Sin embargo, al solo evaluar la producción de manuscritos de los candidatos ¿No estaremos desechando excelentes investigadores que, al dedicarse por completo a su tesis doctoral, no han podido publicar la cantidad de trabajos requeridos por el sistema al momento de su presentación al CONICET?

Ampliando el segundo dilema: publicar o dirigir

Es esperable que a medida que un investigador madura en su tarea cambie la importancia relativa de las diferentes actividades que realiza. Nadie critica que el CONICET espere un mayor énfasis en la producción de manuscritos al inicio de la carrera del investigador, una mayor participación en la formación de recursos humanos en las etapas intermedias y superiores, y cierta participación en gestión institucional hacia las etapas finales de la carrera. En consecuencia, es lógico que los parámetros para evaluar ingresos sean diferentes a aquellos que se utilizan para evaluar las diferentes promociones. Sin embargo, tal como describimos anteriormente, las tesis doctorales dirigidas finalizadas no aparecen por generación espontánea: es el producto de un proceso de al menos 5 años de desarrollo. Entonces, si el CONICET considera que un investigador debe poseer cierta cantidad de tesis doctorales dirigidas finalizadas para promover a las categorías más altas, ¿no debería también estimular su proceso para compatibilizar lo que estimula con lo que premia? Contrariamente a lo que sugiere LG, en ningún momento de nuestro artículo decimos que el CONICET pretende 6 tesis dirigidas finalizadas para promover a la categoría de investigador principal, sino un mínimo de 3. Tal como lo sugiere LG, es muy posible que se necesiten 15 años de permanencia en la carrera de la CICyT para, finalmente, tener 3 tesis doctorales dirigidas finalizadas. Sumado a las dificultades intrínsecas del proceso de dirigir, el CONICET estará exigiendo al investigador cierta producción científica independiente. Entonces, ¿por qué no considerar y adjudicarle cierto valor a las tesis doctorales dirigidas en desarrollo? Es obvio que una tesis dirigida en desarrollo no es equivalente a una tesis dirigida finalizada. Pero también es obvio que estar dirigiendo no es equivalente a no estar dirigiendo. Si el CONICET considera adecuado que un investigador en cierta etapa de su carrera deba tener una cantidad de tesis dirigidas finalizadas, a nuestro entender debería promover y evaluar de alguna manera también las tesis dirigidas en desarrollo en las categorías intermedias.

Los productos como un (sesgado) reflejo de los procesos que lo generan

Las eventuales discrepancias entre lo que el CONICET estimula (paciencia) y lo que a veces finalmente premia (impulsividad) se basa en, a nuestro entender, una sesgada percepción de los productos como indicadores de los procesos. Los trabajos publicados como reflejo de una buena tesis doctoral, las tesis dirigidas finalizadas como reflejos de la capacidad del director en formar recursos humanos. Sin embargo, tal como lo describimos en el primer párrafo de este artículo, los productos no necesariamente son buenos indicadores de los procesos que los generan. Tanto unos como otros pueden tener valor de forma independiente y ser considerados al momento de una evaluación. Hay una frase clave en el artículo de LG la cual indirectamente plantea el conflicto de evaluar procesos en las tareas del CONICET. LG sostiene que "…se intenta equilibrar el volumen de trabajo que se debe realizar en un determinado tiempo y la necesidad de realizar evaluaciones a través de la ayuda de los distintos indicadores sobre el desempeño científico-académico…" Básicamente, esta frase sugiere que no hay tiempo de evaluar procesos. Evaluar procesos es siempre más complejo, tedioso y agotador que evaluar productos. Habitualmente no se lee la tesis doctoral sino solo se considera si fue exitosamente defendida. Raramente se leen los manuscritos de los investigadores evaluados, sino que se infiere su calidad en función del valor de impacto de la revista en donde están publicados. Casi nunca se evalúa el desempeño global de un director de tesis, sino que se lo califica principalmente según la cantidad de tesis finalizadas que dirigió. Generalmente no se evalúa si una gestión institucional fue buena o mala, sino simplemente se califica su existencia como un mérito per se. En otras palabras, la falta de tiempo muchas veces obliga a considerar a los productos como indicadores no sesgados de los procesos. Esto no pretende ser una crítica a los miembros de las comisiones (de las cuales alguno de los autores ha participado), sino un diagnóstico de una problemática real: ¿cómo evaluar eficientemente de forma global el desempeño individual científico-tecnológico incluyendo tanto procesos como productos? Repetimos, ampliando, algunas opciones que consideramos factibles: (a) evaluar la calidad de las tesis por medio de los dictámenes de los jurados y las respuestas de los candidatos. De esta forma se pondría incorporar algún parámetro reflexivo adicional a la evaluación automática de simplemente "tesis aprobada". Este indicador debería considerarse conjuntamente con las publicaciones científicas para evaluar a los postulantes de la CICyT, (b) considerar a las tesis doctorales dirigidas en desarrollo como un parámetro adicional para evaluar las promociones a las categorías más altas del CONICET. Este indicador (posiblemente con un peso relativo menor que las tesis doctorales dirigidas finalizadas) se debería incorporar al resto de indicadores ya empleados para evaluar las promociones (e. g., publicaciones, gestión, etc.). La solicitud de informes confidenciales de los estudiantes doctorales sobre la función de su director podrían ser una ayuda extra para evaluar el desempeño de un investigador como formador de recursos humanos, (c) mejorar los formularios de CONICET para que los autores de los trabajos (postulantes a ingreso y promoción) expliquen críticamente la originalidad de sus publicaciones, su aporte conceptual en el contexto del desarrollo nacional e internacional de la disciplina, potencial aplicación, etc., y (c) incorporar la calidad de la gestión como un parámetro adicional para evaluar la promoción de un investigador a la categoría más alta del escalafón. Creemos que el uso de estos nuevos indicadores es factible, no implica un gran trabajo adicional ni cambios en el estatuto del CONICET, y cubre aspectos de procesos hasta ahora no considerados formalmente al momento de evaluar el desempeño de los investigadores.

Tenme paciencia que voy apurado

Es indudable que el sistema científico Argentino en general, y el CONICET en particular, han mejorado y crecido mucho respecto a lo que eran 10 años atrás. Sin embargo, consideramos que hay aspectos que pueden seguir mejorando. Agradecemos a LG por sus valiosos comentarios y su detallado relato sobre ciertos aspectos del funcionamiento del CONICET. Aparte de enriquecer enormemente el debate, creemos que su artículo va a ser bienvenido por muchos científicos jóvenes que hasta ahora desconocían ciertos detalles sobre el funcionamiento de las comisiones asesoras a la hora de evaluar ingresos y promociones. Su lectura, al exponer la visión de alguien con mucha experiencia en las tareas de evaluación, nos hizo reflexionar sobre el motivo último por el cual, a nuestro entender, el CONICET presenta ciertas incoherencias entre lo que teóricamente estimula y finalmente premia: el énfasis está puesto en evaluar productos, en detrimento de los procesos.

Finalmente, agradecemos el aporte de los lectores de Ecología Austral. La cantidad insospechada de mensajes que recibimos de investigadores y becarios que se sintieron identificados con nuestro artículo nos sugiere que los conflictos oportunamente presentados son reales y no solo producto de nuestros pensamientos. Por esto insistimos sobre la necesidad de seguir reflexionando sobre el proceso de evaluación académica (ver Nature Publishing Group, 2010). Dejemos entonces que los monos decidan qué hacer cuando ven un mango y enfoquémonos en cómo evaluar procesos y productos. Creemos que si se evaluaran tanto los procesos (calidad de tesis doctorales, tesis dirigidas en desarrollo, desempeño del director, calidad de la gestión, etc.) como los productos (estar doctorado, poseer cierta calidad y cantidad de publicaciones, número de tesis dirigidas finalizadas, existencia de tareas de gestión, etc.) el CONICET incrementaría su coherencia en la evaluación de sus investigadores al promover las actividades que finalmente va a recompensar.

AGRADECIMIENTOS

A los editores de Ecología Austral y a Leornardo Galetto, que nos permitieron seguir ampliando este debate, y a los lectores que con sus múltiples mensajes nos demostraron que tocamos un tema sensible al quehacer científico.

BIBLIOGRAFIA

1. FARJI-BRENER, AG. 2007. Ser o no ser director, esa es la cuestión: reflexiones sobre cómo (no) debería ser el desarrollo de una tesis doctoral. Ecología Austral 17: 287-292.         [ Links ]

2. KOZLOWSKI, J. 1992. Optimal allocation of resources to growth and reproduction: implications for age and size at maturity. Trend Ecol. Evol. 6:15–19.         [ Links ]

3. LEE, A; C DENNIS & P CAMPBELL. 2007. Nature's guide for mentors Nature 447: 791-797.         [ Links ]

4. LEVIN, SA. 1992. The problem of pattern and scale in ecology. Ecology 73:1943–1967.         [ Links ]

5. LOEHLE, C. 1990. A guide to increased creativity in research -inspiration or perspiration? BioScience 40: 123-129.         [ Links ]

6. NATURE PUBLISHING GROUP. 2010. Assessing assessment. Nature 465: 845.         [ Links ]