DOSSIER-ARTÍCULOS

La evaluación de la investigación en las universidades argentinas. Contextos, culturas y limitaciones

Research evaluation in Argentine universities. Contexts, cultures and limitations

Mario Lattuada *

* Investigador principal de CONICET, Argentina. Vicepresidente de Asuntos Tecnológicos de CONICET (2002- 2008) y subsecretario de Coordinación Institucional del Ministerio de Ciencia, Tecnología e Innovación Productiva de la República Argentina (2008-2010). Correo electrónico: mjlattuada@gmail.com.

---

La problemática de la evaluación de la investigación en las universidades argentinas requiere un análisis en el marco del contexto histórico y político, del sistema de ciencia y tecnología, de la historia de las instituciones que lo integran y de las culturas de las diferentes comunidades disciplinarias. Un proceso que por naturaleza es conflictivo porque pone en juego relaciones de poder y una distribución selectiva de recursos de prestigio, económicos y de poder. La gestión de este proceso requiere administrar una tensión conflictiva entre dos cosmovisiones, una forjada en el aporte a la disciplina y otra al mercado y la sociedad. Pero, en cualquier caso, para contribuir a la construcción de una sociedad basada en el conocimiento, este problema es menor a la necesidad de reforma de los estatutos que regulan las actividades de los investigadores, la reorientación de los instrumentos de financiamiento de la innovación y la creación de condiciones sistémicas para la inversión privada de riesgo basada en ciencia y tecnología.

Palabras clave: Universidades argentinas; Evaluación de la investigación; Limitaciones.

The subject of research evaluation in Argentine universities requires an analysis within the historical and political context, of its system of science and technology, of the history of the institutions that constitute it, and the cultures of its different disciplinary communities. A conflictive process by nature, it brings into play relations of power and selective distribution of resources. Managing this process requires administrating a tension between two conflictive worldviews –one forged in the contribution to the discipline, and the other one oriented to market and society. However, to contribute with the construction of a society based in knowledge, this problem is minor compared to the need to reform the statutes that regulate the investigators’ agenda, the reorientation of funding instruments of innovation and the creation of systemic conditions for non-risk investments based in science and technology.

Key words: Argentine universities; Research evaluation; Limitations.

---

La evaluación contempla numerosos aspectos y abre una complejidad difícil de reducir a un único objetivo, significado o procedimiento.

En cuanto a su objeto específico puede incluir la evaluación de un proyecto en sus aspectos de originalidad, calidad, factibilidad y pertinencia para su financiamiento; la evaluación del personal que realiza investigación a través de sus capacidades, actividad y productos que caracterizan su trayectoria en el marco de ingreso a una posición determinada o su evolución dentro de un escalafón o programa; la aplicación, transferencia o utilidad del conocimientos y desarrollos expresados en diferentes productos de la investigación que son transferidos a la sociedad. Cada una de estas cuestiones reúnen particularidades que implican diferentes aspectos a tener en cuenta en la evaluación de acuerdo al tipo de instituciones que las contienen y sus fines (organismos de ciencia y tecnología, universidades, empresas, organizaciones de la sociedad civil, entre otros).

Las preocupaciones sobre la evaluación de la investigación en las universidades, como en la mayoría de los organismos que integran el sistema científico y tecnológico, trascienden las características que puede asumir el proceso técnico, la discusión sobre sus indicadores y su ámbito institucional. La problemática de la evaluación de la investigación en las universidades argentinas difícilmente pueda entenderse aislada del contexto, del sistema de ciencia y tecnología y de la historia de las instituciones que lo integran.

Desde que el conocimiento se constituye en un bien de mercado y, en buena medida, en un factor competitivo para empresas, sectores y países -y en este caso contributivo a su soberanía-, la evaluación de la producción científica ya no queda encerrada en el mundo académico y en los criterios de las comunidades disciplinares. Las empresas, las organizaciones de la sociedad civil y los Estados -a través de sus diferentes agencias de promoción de la ciencia y la tecnología, incluidas las universidades- se constituyen en parte comprometidas de los procesos de financiamiento y, por lo tanto, de la evaluación de la investigación científica, independientemente del grado de eficiencia que tengan para hacerlo y los mecanismos que utilicen.

En este sentido, los criterios de pertinencia pasan a ocupar un lugar tanto o quizás más importante aún que la calidad de los proyectos. Pero la pertinencia como la calidad suelen ser -para ponerlo en términos cinematográficos- esos obscuros objetos del deseo que no siempre se encuentran claramente explicitados y menos aún aplicados.

En el caso de las empresas, esta situación puede ser menos incierta: tienen relativamente más claro lo que necesitan, difícilmente financien algo que no consideren de utilidad o beneficio, y cuando existe cierto riesgo del emprendimiento buscan trasladarlo al Estado -es decir, a todos los ciudadanos- aplicando a los instrumentos públicos que incentivan la innovación.

En el caso del Estado, la definición de la pertinencia requiere de un diagnóstico y un plan estratégico sólido a partir del cual puedan definirse los criterios de selección  de mediano plazo en función de cierto proyecto de país. Es probable que ante la existencia de un vacío en este aspecto, las propias organizaciones del sistema de ciencia y tecnología -en el mejor de los casos- sean quienes definen sus estrategias institucionales y su lugar en el mundo, aunque no siempre esos planes sean suficientemente explícitos, consensuados, conocidos o comprendidos por las comunidades de investigadores que las integran.

A esto se agrega la cuestión de la calidad, habitualmente desplazada y aislada de la pertinencia, y reservada a las comunidades disciplinarias -o multidisciplinarias, en algunos casos-, que despliegan sus particulares tradiciones o culturas de evaluación y aplican cierto sesgo en función de sus interrelaciones en círculos de pertenencia, reconocimiento e influencia generados en comunidades científicas relativamente pequeñas. Como decía la publicidad de una conocida tarjeta de crédito, y frase repetida por respetados miembros de la comunidad: “Pertenecer tiene sus privilegios”.

En un contexto político, económico e institucional que promueve la incorporación de conocimiento en la innovación del sector productivo y el desarrollo del país, los mecanismos de evaluación tradicionales de las ciencias básicas, y generalizado al conjunto del sistema, basándonos en el número de publicaciones el factor de impacto y las citaciones en las revistas académicas parecieran constituir uno de los obstáculos para posibilitar una contribución plena en ese sentido, en particular para las ciencias aplicadas y tecnológicas y para las ciencias sociales.

En la evaluación de la calidad, algunas comunidades científicas -no únicamente en la Argentina ni tampoco exclusivamente en el Consejo Nacional de Investigaciones Científicas y Técnicas (CONICET)- suelen generalizar la utilización de algunos instrumentos como las publicaciones en revistas indexadas y los factores de impacto y citación, que fueron originalmente creados con otros fines. Esta perspectiva cuenta con objeciones sólidamente fundadas. Entre las más recientes se destacan el discurso del premio Nobel de Medicina 2013 Randy Schekman (Debate Universitario, 2014) y la San Francisco Declaration on Research Assessment realizada por The American Society for Cell Biology en 2012 (Debate Universitario, 2013).

No obstante, existen verdaderos “talibanes” de los índices y las métricas de las publicaciones que se han aplicado para medir desde la calidad de la producción científica, la trayectoria de los investigadores y la formación de los recursos humanos bajo su dirección, todo con la misma regla. Como se sabe, ninguna de estas revistas publica trabajos en función de criterios de pertinencia establecidos a partir de las necesidades de los países o de las instituciones, lo cual hace difícilmente compatible el “maridaje” -como gusta decir a los enólogos y los gourmets- entre pertinencia y calidad.

Sin llegar a esos extremos, existen otros consensos no escritos ni suficientemente difundidos, más allá del reducido grupo que coyunturalmente se hace cargo de los procesos de evaluación y construye la tradición de diferentes instituciones y organismos: la productividad promedio en materia de publicaciones, el número de personas con doctorado que se haya dirigido y la existencia de estancias en el exterior, entre otros.

Si este reduccionismo puede considerarse arbitrario para la adecuada evaluación de calidad de un proyecto o la trayectoria de un investigador en aquellas disciplinas que en cierto modo lo han adoptado como cultura –cabe mencionar, por ejemplo, el desplazamiento de los médicos y de los ingenieros agrónomos y veterinarios por biólogos moleculares y químicos en las comisiones de ciencias médicas y de ciencias agrarias del CONICET-, cuánto más inapropiado puede considerarse al intentar su traslado hacia otras comunidades disciplinares como las ciencias sociales, la arquitectura y las disciplinas aplicadas y tecnológicas, entre otras.1

Este tipo de criterios, junto con sus abanderados, se trasladan de una institución a otra (CONICET, Agencia, CONEAU, la universidad, premios de distintas instituciones públicas y privadas), aunque con diferente peso relativo.

En el caso de las universidades -además de los criterios impuestos por el CONICET a los investigadores y becarios con lugar de trabajo en las mismas, o los del Fondo Nacional para la Ciencia y la Tecnología (FONCyT) para aquellos que aplican a su financiamiento, los cuales se inscriben en los lineamientos comentados-, existen otros dos vectores principales que inciden en la evaluación de los proyectos y de sus docentes/investigadores: el programa de incentivos a la investigación del Ministerio de Educación en las universidades nacionales de gestión pública, y los procesos de acreditación por la Comisión Nacional de Evaluación y Acreditación Universitaria (CONEAU) de las carreras de grado y posgrado en las universidades privadas, en este último caso también en las universidades públicas.

En el programa de incentivos, que inicialmente tuvo un significativo impacto en el reconocimiento de la actividad de investigación de numerosos docentes, el proceso de evaluación se ha convertido en un acto de carácter administrativo en función de un incentivo económico que en la actualidad se ha incorporado al imaginario docente como parte irrenunciable de su salario, y el sistema en su conjunto merecería una revisión radical dado el tiempo que lleva en vigencia. Ni la pertinencia, ni la calidad, ni la originalidad constituyen factores decisivos de la aprobación o renovación de estos proyectos, sino el adecuado llenado administrativo de las fichas correspondientes. A ello se agrega, en muchas de las universidades que disponen de algunos fondos para el financiamiento de proyectos de investigación, la adopción de cierto criterio “sindical” de evaluación: todos los que se presentan reciben algo similar independientemente de las necesidades, el valor o el aporte del proyecto.

En el caso de las acreditaciones de carreras, las exigencias que plantea CONEAU en la evaluación de la función investigación suele ser un fuerte incentivo para la organización y el desarrollo de estas actividades en las universidades privadas. No obstante, el planteo tiende a imponer un molde o una plantilla relativamente similar para las diferentes disciplinas, desconociendo en algunos casos tradiciones en la construcción de conocimiento en diferentes disciplinas o limitando el surgimiento de alternativas innovadoras. En el caso de los posgrados, se emplean los mismos criterios que las comunidades académicas trasladan de un organismo a otro, basados centralmente en la producción bibliográfica y los índices de impacto. A ello se suma, en algunos casos, la no contemplación por parte de los pares de trayectorias y la disponibilidad de recursos diferentes al de las universidades públicas y, excepcionalmente, el peso de ciertos sesgos ideológicos respecto de la educación y la investigación en las universidades privadas. Internamente, las universidades privadas se enfrentan con la tensión existente entre dar respuesta a esas exigencias externas y la necesidad de satisfacer, como en las universidades estatales, una distribución de recursos escasamente diferenciada entre sus docentes/investigadores, con la limitación adicional de contar para ello casi exclusivamente con los recursos económicos originados en las propias instituciones.

En esta historia, las comunidades académicas han construido sus propias culturas de evaluación, permeadas a su vez con los sesgos que imponen las relaciones personales y el prestigio de pertenecer a ciertos grupos u organizaciones, aunque habitualmente forman parte de las reglas no escritas que subyacen a los indicadores duros.

Cambiar los criterios de evaluación implica transformar las culturas de las comunidades académicas, y esto requiere de la incorporación y apropiación de nuevos principios y valores, y la repetición de acciones consecuentes hasta que se naturalizan en el discurso y en el comportamiento del colectivo. Principios y valores que deben ser previamente internalizados y explicitados por las instituciones que contienen y financian a las comunidades académicas. De poco sirve haber realizado avances significativos para el tratamiento del cáncer si su importancia es destacada por haber sido publicada en una revista de alto impacto. Tampoco se logra un cambio de cultura institucional creando guetos o burbujas con criterios particulares para unos pocos.

En síntesis, la cuestión de la evaluación es un tema complejo que no tiene una respuesta única, inmediata ni pacífica en el debate sobre qué hacer con ella, más que tratar de administrar una tensión conflictiva entre dos cosmovisiones, una forjada en la investigación como aporte al crecimiento de la disciplina basada en temáticas de libre elección y selección por la comunidad disciplinar, y otra donde el mercado, el Estado o las organizaciones de la sociedad civil orientan los proyectos a través del financiamiento en función de su utilidad o posibilidad de apropiación.

La evaluación, entendida como proceso social, tiene un aspecto administrativo organizacional –existen normas, procedimientos y dictámenes-, y otro aspecto expresado en el mismo acto de la evaluación se encuentra atravesado por la historia de las instituciones y de quienes participan en el proceso. Un proceso que es por naturaleza conflictivo porque pone en juego relaciones de poder (institución/evaluador; evaluador/evaluado; institución/evaluado; ciencias básicas/otras ciencias) y una distribución selectiva de recursos que en términos weberianos pueden ser identificados como recursos de prestigio, económicos y de poder. 

La gestión o administración de la evaluación en este proceso requiere algunas condiciones que garanticen reglas de juego relativamente equitativas para todas las clases de jugadores (básicos, experimentales, tecnólogos, sociales):

a) Establecer definiciones precisas y explícitas ex ante de los criterios de pertinencia y de calidad a ser evaluados en proyectos y trayectorias, garantizando su permanencia en el mediano plazo por parte de la institución evaluadora y su adecuada difusión absolutamente a todos los interesados.

b) Contemplar el valor y el impacto de los diferentes aportes y resultados de una investigación, en una diversidad de productos -además de las publicaciones-. c) Considerar que el contenido específico de una publicación es más importante que el medio en que se publica y la métrica de la publicación.

d) Desarrollar mecanismos institucionales de supervisión de la efectiva aplicación por los evaluadores de los criterios establecidos.

e) Promover instancias colectivas de evaluación con integrantes que se renueven periódicamente, incluyendo las organizaciones o dependencias que constituyen sus lugares de trabajo, para reducir los riesgos de beneficios endogámicos.

f) Promover la posibilidad de dictámenes en disidencia debidamente fundados para que las autoridades de las instituciones puedan decidir adecuadamente la dirección de las investigaciones que se desarrollan en ellas.

g) Incorporar integrantes “no pares” en las comisiones de evaluación de proyectos de investigaciones aplicadas.

No obstante, más allá de las normas y propuestas específicas, si la preocupación central reside en cómo el conocimiento debe aportar al desarrollo económico y social del país, la cuestión de la evaluación es un tema importante pero menor en relación a otras sustantivamente más relevantes que la incluyen.

La última década ha sido un período favorable para el desarrollo del sector de la ciencia y la tecnología en la Argentina, como lo refleja la evolución de los presupuestos otorgados a los organismos que integran el sistema, el aumento significativo del número de recursos humanos formados e incorporados, la inversión en equipamiento e infraestructura edilicia, y el reconocimiento de su importancia para el país al crear un ministerio específico. Este período se destaca por una visión y un discurso que promueven la articulación de la ciencia y la tecnología con el sector productivo y ponen especial énfasis en la innovación de las empresas a las que el sector debe aportar sus conocimientos y servicios. Numerosos instrumentos han sido diseñados, y significativos recursos públicos destinados con este objetivo.

A pesar de ello, los resultados han sido poco alentadores de acuerdo a las cifras proporcionadas por los Indicadores de Ciencia y Tecnología 2011 del Ministerio del ramo. En 2011 se registraron 224 patentes por residentes del país, sólo una tercera parte en comparación con las 786 registradas en 2004. Esto ha llevado a que el índice de dependencia tecnológica haya aumentado del 5,13 a 6,01 y el índice de autosuficiencia disminuido del 0,16 al 0,14 entre 2007 y 2011. Además, en Argentina todos los sectores de manufacturas de alta, media y baja tecnología, con la excepción destacada de la rama de alimentos, bebidas y tabacos -considerada de baja tecnología- son deficitarios en la relación entre importaciones y exportaciones, una brecha que se ha ampliado entre 2007 y 2011, pasando de un déficit de 9679 millones de dólares a 22.965 millones de dólares (MINCYT, 2013).

La justificación que se esgrime respecto de las amplias diferencias en los niveles de inversión y resultados obtenidos es que, en los países desarrollados y otros países de la región como Brasil o Chile, la inversión del sector privado es sustancialmente más importante que la inversión pública. Si se acepta esta hipótesis, entonces hay que pensar en una política de ciencia y tecnología mucho más integrada y armónica con otras áreas de políticas públicas y con la sociedad que garantice, por una parte, las condiciones para que el sector privado realice inversiones de largo plazo en proyectos, desarrollos e innovaciones basados en nuevo conocimiento, y por otra, que los investigadores puedan involucrarse activamente en ese proceso.

En esta estrategia, tres cuestiones surgen como imprescindibles de ser atendidas en el corto plazo:

a) Una reforma de los estatutos que regulan la actividad de los investigadores en los principales organismos de ciencia y tecnología del país, los que han quedado obsoletos para una flexible y dinámica articulación ciencia/sociedad y ciencia/empresa, y aun para la colaboración entre diferentes organismos del sistema.

b) Una revisión profunda del rol, los instrumentos y la coordinación de los principales organismos públicos que financian las actividades de investigación, desarrollo tecnológico e innovación.

c) La construcción de las condiciones sistémicas –jurídicas, económicas, educativas- de largo plazo para la recreación y la consolidación de una burguesía nacional con características schumpeterianas, sin distinción de sectores de actividad, que haga de la innovación basada en el conocimiento científico una parte central de su existencia y funcionamiento.

Estos desafíos trascienden largamente la discusión sobre los criterios de evaluación, los numerosos y complejos incentivos desde la oferta del sistema de ciencia y técnica, y aun las competencias de los organismos y del propio ministerio del ramo, los cuales, si bien necesarios, resultan claramente insuficientes para atender la dimensión y la profundidad del problema.

Notas

1. Las observaciones mencionadas no han impedido que en la Argentina numerosos investigadores básicos realicen transferencias importantes aplicando sus descubrimientos, ni que tecnólogos e investigadores de las ciencias sociales con un constante aporte al medio alcancen los niveles superiores de sus escalafones, aunque el camino sea más largo y transitado por un menor número de miembros. En todo caso, la historia de la ciencia en la Argentina se ha caracterizado por avances y retrocesos sobre una tendencia que en materia de evaluación ha pasado de criterios hegemónicos a criterios dominantes que son cuestionados en un proceso de diversificación, expansión y profesionalización del sistema en su conjunto.

Bibliografía

1 AMERICAN SOCIETY FOR CELL BIOLOGY - ASCB (2013): “San Francisco Declaration on Research Assessment”, Debate Universitario, vol. 2, n° 3.

2 MINISTERIO DE CIENCIA, TECNOLOGÍA E INNOVACIÓN PRODUCTIVA – MINCYT (2013): Indicadores de Ciencia y Tecnología, Argentina 2011, año 15, Buenos Aires.

3 SCHEKMAN, R. (2014), “Por qué revistas como Nature, Science y Cell hacen daño a la ciencia”, Debate Universitario, vol. 2, n° 4.