DOSSIER - APOYO A LOS PROGRAMAS DE POSGRADO

Fuentes de información para el análisis de resultados e impactos de programas de becas de posgrado en ciencias e ingeniería en Iberoamérica

María Guillermina D'Onofrio y Julia Gelfman * **

Este artículo revisa metodológicamente las fuentes que proveen o pueden proveer información pertinente para la evaluación de los resultados e impactos de los programas de becas de formación de científicos e ingenieros en Iberoamérica. En primer lugar, identifica y caracteriza tres tipos de fuentes comúnmente producidas por los organismos responsables de los programas de becas y/o que son generadas por diversas instituciones: los formularios, informes y/o memorias de evaluación de ex becarios y/o sus directores o anfitriones en los centros de I+D de acogida; la información estadística relativa a posgraduados y a recursos humanos en ciencia y tecnología; y las diversas bases internacionales, regionales y/o nacionales existentes de publicaciones científicas y patentes. En segundo lugar, describe tres tipos de fuentes de información que sería pertinente y recomendable desarrollar, consolidar o bien explotar analíticamente en la región: las encuestas de trayectorias académicas y profesionales, expectativas laborales futuras y opiniones de ex becarios y/o sus directores o anfitriones; las entrevistas en profundidad individuales y/o los grupos de discusión con diversos actores sociales que resultaron beneficiarios indirectos de las ayudas concedidas, así como los propios gestores de los programas de becas; y las bases estandarizadas de los currículum vítae(CVs) de posgraduados y recursos humanos en ciencia y tecnología.

Palabras clave: Ciencia y tecnología; Evaluación de resultados e impactos; Fuentes de información; Formación de científicos e ingenieros.

This paper article examines, from a methodological point of view, the sources that provide or can provide pertinent information for the evaluation of the results and impacts of the fellowship programs for the education and training of scientists and engineers in Ibero America. First of all, it identifies and characterizes three types of sources usually produced by the institutions responsible for the fellowship programs and/or that are generated by different institutions: the forms and/or evaluation reports of ex-fellows and/or their supervisors at the receptor R&D centers; the statistical information relative to postgraduates and S&T human resources; and the various international, regional and/or national existent databases of scientific publications and patents. Secondly, it describes three types of information sources that would be pertinent and advisable to develop, consolidate or analytically exploit in the region: the surveys on academic and professional trajectories, future work expectations and opinions of ex-fellows and/or their supervisors; individual in depth interviews and/or group discussions with various social actors that became indirect beneficiaries of the given aids, as well as the managers of the fellowship programs; and the standardized databases of the curriculum vitae (CVs) of postgraduates and S&T human resources.

Key words: Science and technology; Evaluation of results and impacts; Information sources; Education and training of scientists and engineers.

1. Introducción

El presente artículo surge de un documento elaborado para el Observatorio de la Ciencia, la Tecnología y la Sociedad del Centro de Altos Estudios de la Organización de Estados Iberoamericanos (OEI). El artículo ofrece una revisión de las fuentes que proveen o pueden proveer información pertinente para la evaluación de los resultados e impactos de los programas de becas de formación de científicos e ingenieros en Iberoamérica, con el objetivo de determinar su éxito en términos del cumplimiento de los objetivos y metas propuestos. Se trata de realizar un aporte metodológico a los procesos de evaluación ex-post de programas de becas de investigación y formación que son gestionados por diferentes organismos gubernamentales de ciencia, tecnología y educación superior o universidades estatales. Esos programas están siendo fortalecidos progresivamente en varios países de la región como parte de sus políticas públicas de aumento del número de profesionales altamente capacitados y de la expansión de su base científica, aspectos de importancia estratégica para los sistemas de ciencia, tecnología e innovación.

El texto está organizado en cinco secciones temáticas incluyendo esta introducción. En la segunda sección se hacen algunas precisiones conceptuales necesarias. En la tercera sección se identifican y caracterizan metodológicamente las fuentes que comúnmente son producidas por los organismos públicos responsables de los programas de becas como parte de sus propias actividades de gestión y/o que son generadas por diversas instituciones y que han sido utilizadas en diversas experiencias desarrolladas recientemente para obtener información sobre los resultados e impactos de esos programas. En la cuarta sección se describen metodológicamente diferentes fuentes de información que sería recomendable desarrollar, consolidar o bien explotar analíticamente en la región, citando algunas experiencias pioneras de utilización de esas fuentes de información en acciones de evaluación. Finalmente, en la quinta sección se plantean algunos comentarios a modo de conclusión.

2. Dimensiones de evaluación de resultados e impactos de programas de becas

La evaluación ex-post facto de los resultados de un programa de becas remite a la interpretación de los méritos que ha tenido dicho programa en términos de los incentivos que proporcionó a los individuos beneficiarios para emprender las actividades académicas y/o de investigación para las que fueron concedidos los estipendios de beca. Consiste en la valoración cuantitativa y/o cualitativa de los resultados intrínsecos al propio programa en virtud del grado de cumplimiento de los objetivos y metas propuestos, basándose en información empírica recopilada rigurosamente.

En el caso específico de los programas de apoyo a la formación de científicos y tecnólogos, la evaluación de sus resultados remite generalmente a la medición empírica de la consecución, por parte de sus beneficiarios individuales, de los estudios de posgrado en los niveles de especialización, maestría o doctorado (incluyendo fundamentalmente la conclusión de la tesis o trabajo final correspondiente y pudiendo atender a aspectos relacionados, como el período de tiempo que fue comprometido para su logro y las calificaciones obtenidas por el beneficiario) para los que fueron otorgadas las ayudas. Asimismo, comprende la apreciación del grado de cumplimiento de las propuestas de investigación correspondientes a las estancias postdoctorales de formación especializada en centros de excelencia, generalmente extranjeros, para las que se concedieron los apoyos.

Otra métrica frecuente de los resultados de los programas de becas de posgrado y posdoctorado es, además de las mencionadas, la producción de artículos científicos en revistas internacionales con referato y la participación en patentes de invención (sea como inventores o titulares), entre otros resultados obtenidos desde la finalización del período de disfrute de la beca y directamente relacionados con los trabajos finales de especialización, las tesis de maestría o doctorales o las temáticas desarrolladas en las estancias postdoctorales por sus beneficiarios. Asimismo, la autopercepción de los propios beneficiarios del programa y de los directores o tutores de sus tesis de posgrado (o bien de los investigadores responsables de los grupos de I+D anfitriones de sus posdoctorados) acerca del valor o utilidad que ha tenido para ellos la beca obtenida, junto con una evaluación de la calidad y eficacia de los servicios del organismo gestor durante su período de disfrute, son otros aspectos en ocasiones incluidos en la evaluación de resultados de estos programas.

La evaluación ex-post de impactos de un programa de becas de formación de posgrado e investigación remite a la medida en que los eventuales resultados derivados han dado o bien están dando lugar a modificaciones en el desarrollo de las trayectorias científicas de quienes fueran beneficiarios (generalmente medido a través de la tasa de publicación de calidad y visibilidad internacional e índices de citación de los trabajos de quienes fueron becarios del programa analizado). Tales modificaciones afectan a las instituciones académicas y de investigación y desarrollo (I+D) en las que tras la finalización de las becas sus beneficiarios logran insertarse, siendo además la (rápida) obtención de un empleo para realizar tareas altamente calificadas relacionadas con la beca o el ingreso a la carrera del investigador científico y tecnológico (en aquéllos países en los que existe) uno de los indicadores más utilizados de impactos positivos y relacionados con el programa. Las referidas modificaciones en las trayectorias científicas de los becarios afectan también a los grupos de investigación de origen (consolidando sus líneas de trabajo o incluso abriendo nuevas) y de acogida (con los cuales pueden establecerse relaciones de colaboración internacional de gran impacto para las comunidades disciplinarias de los países participantes).

La evaluación de impactos de programas de becas también comprende la medición de la rentabilidad, del período de recuperación de la inversión y de la creación de valor (tanto a nivel del programa como del individuo) si los resultados conllevan la obtención de productos, procesos o servicios de carácter económico; el inicio de colaboraciones académico-empresariales; el incremento de la calidad de la educación superior en función del número de profesores con títulos de posgrado responsables de formar recursos humanos calificados y disponibles para desempeñar empleos de creciente complejidad y mayor valor agregado (contribuyendo a la mayor productividad y al desarrollo socioeconómico de los países); y la resolución de problemas sociales concretos, entre otros importantes aspectos considerados. Se realiza una vez transcurrido un cierto período (que puede ir, según distintos analistas, de seis meses a diez años) a partir de la finalización del programa (o de sus diferentes cohortes) para que las eventuales modificaciones se hagan visibles e incluye la evaluación de diversa categoría de impactos (Albornoz y Alfaraz, 2008): directos e indirectos, previstos y no previstos, reales y potenciales o, superando la última antinomia, de los recursos disponibles como "capacidades científicas y tecnológicas".

La evaluación de resultados e impactos del éxito de los programas de becas proporciona a sus organismos gestores información útil para la toma de decisiones sobre la asignación de recursos y la selección de los instrumentos de política aplicados, facilitando el aprendizaje organizacional a partir de las experiencias pasadas (FECYT 2003). Sin embargo, su consecución está dificultada por la compleja naturaleza de los fenómenos que se encuentran bajo estudio, en tanto determinar causalidades directas de los efectos económicos y sociales derivados de una intervención en ciencia y tecnología está lejos de ser una tarea sencilla, como tampoco lo es el análisis de la capacidad de influencia que tienen las acciones realizadas a partir de un programa sobre el comportamiento de los individuos, los cuales están influidos por muchos otros factores que son difíciles de detectar y sobre todo de controlar. Si resultara factible elaborar un diseño de evaluación experimental o cuasi-experimental (respectivamente, con o sin selección aleatoria de los casos) identificando un grupo de control (que sea equivalente o de similares características) al grupo poblacional que resultó beneficiario de la beca, se podría producir evidencia empírica que permitiría determinar las causas de los resultados e impactos observados.

La evaluación de resultados e impactos de programas de becas puede ser realizada utilizando una o varias estrategias metodológicas cuantitativas o cualitativas. La Tabla 1 muestra algunas correspondencias posibles entre las diferentes dimensiones analíticas de la evaluación ex-post de resultados e impactos de los programas de becas de formación, las fuentes de información más pertinentes para abordar cada una de esas dimensiones y los diversos actores sociales a considerar.

Tabla 1: Dimensiones de análisis, tipos de fuentes de información y actores sociales involucrados

Las herramientas conceptuales y metodológicas para medir y evaluar adecuadamente los resultados e impactos de los programas de formación de científicos e ingenieros están todavía en desarrollo, como sucede con la propia cultura de evaluación ex-post en ciencia y tecnología en los países iberoamericanos. Precisamente en este marco y a modo de contribución a los avances que progresivamente se van instalando en tal sentido, es que las secciones siguientes ofrecen una revisión metodológica acerca de las principales ventajas y desventajas que ofrecen las diferentes fuentes de información pertinentes.

3. Fuentes de información disponibles

En esta sección se describen tres fuentes de información, diferentes pero complementarias, para la evaluación de los resultados e impactos de los programas de becas que están generalmente disponibles en los países iberoamericanos. Ellas son comúnmente producidas por los propios organismos responsables de dichos programas como parte, incluso, de sus actividades de gestión institucional de evaluación ex-ante o de seguimiento de las convocatorias, o son recolectadas regularmente por las oficinas nacionales de estadísticas de empleo, educación superior y de ciencia y tecnología, o bien por otras instituciones responsables de la conformación y el mantenimiento de servicios de información bibliográfica y de patentes a nivel mundial.

Se trata de fuentes documentales, como los formularios estandarizados o semi-estandarizados, informes y memorias de evaluación de los ex becarios y sus directores, tutores o anfitriones en los centros de I+D de acogida; de información estadística relativa a los posgraduados y a los recursos humanos en ciencia y tecnología; y de las diversas bases internacionales, regionales y nacionales existentes de publicaciones científicas y patentes.

3.1. Formularios estandarizados o semi-estandarizados, informes y memorias

Una fuente de información que suele estar disponible y es generada por los organismos gestores de los programas de becas de formación e investigación, aunque no es siempre aprovechada analíticamente por fuera de su uso en la evaluación por pares de los resultados finales de las becas concedidas, son los formularios estandarizados que se les aplican, al término de las ayudas, a sus propios beneficiarios y, en ocasiones, a sus directores o tutores de tesis o a los responsables de los grupos de I+D que los acogieron durante sus estancias postdoctorales.

Se trata de formularios que son utilizados por los organismos gestores para la obtención de información relativa a los resultados alcanzados al término de las becas desde la perspectiva de sus beneficiarios (o bien de sus directores o investigadores anfitriones) y de los impactos que a su juicio están teniendo o tendrán. Suelen ser recopilados inmediatamente o pocos meses después de finalizado el período de disfrute de las ayudas. Son documentos de carácter no "público" y que el organismo gestor del programa elabora como parte de sus actividades de evaluación y rendición de cuentas. Comúnmente tienen una gran cobertura (dado que son cumplimentados con carácter obligatorio y como parte de la pertenencia a la comunidad académica) y su acceso está obviamente abierto al propio organismo para la realización de autoevaluaciones ex-post de resultados e impactos. Para la realización de evaluaciones externas será preciso solicitar expresa y formalmente al organismo productor el acceso a la documentación (lo cual no siempre resulta un proceso fácil ni rápido) y garantizar el anonimato de los individuos a los que se refieran los datos manejados estadísticamente.

Los formularios de evaluación final de las becas de formación de posgrado contienen, ya sea parcial o totalmente, la siguiente información de resultados derivados del beneficio:

• datos de identificación del beneficiario (nombre y apellido, título de la tesis, nombre y apellido del director o tutor, institución de realización de la beca) y de su programa de beca (fecha de concesión y finalización, código, programa específico, etcétera),
• calificación obtenida en el programa de formación de posgrado, particularmente en la tesis doctoral,
• publicaciones y otros resultados obtenidos directamente relacionados con el programa de formación, particularmente con la temática desarrollada en la tesis doctoral,
• situación profesional actual (empleado para realizar actividades de I+D, becario de un nuevo programa, desempleado, otra), institución contratante o concesionaria de la nueva beca y relación del cargo o plaza ocupado con los conocimientos adquiridos durante la formación.

En las becas de posdoctorado:

• datos de identificación del beneficiario (nombre y apellido, título del trabajo de investigación, nombre y apellido del responsable de la institución o del grupo de I+D de acogida, denominación del centro de I+D o institución universitaria de acogida) y de su programa de beca (fecha de concesión y finalización, código, programa específico, etcétera),
• publicaciones y otros resultados obtenidos directamente relacionados con la temática del posdoctorado,
• situación profesional actual (empleado para realizar actividades de I+D, becario de un nuevo programa, desempleado, otra), institución contratante o concesionaria de la nueva beca y relación del cargo o plaza ocupado con los conocimientos y experiencias adquiridos durante la estancia de investigación posdoctoral.

En ambos casos, los referidos formularios suelen complementarse con los currículum vítae (CVs) actualizados de los ex becarios. Tales CVs pueden estar diseñados a criterio de cada titular (sin que el organismo solicitante normalice más que su extensión límite), o bien ser el caso de CVs que siguen algún formato estandarizado o común, desde la indicación de las grandes secciones que debe incluir al detalle de los contenidos básicos de cada una de ellas. Puede tratarse, además, de CVs impresos o de formularios electrónicos. Por su gran potencialidad analítica y el creciente interés que está teniendo en la región este clásico "anexo" a los formularios finales de becas de posgrado como fuente de información a consolidar para la evaluación de sus resultados e impactos académicos, científicos y tecnológicos, se volverá in extenso sobre sus características en la siguiente sección.

Ejemplos interesantes de este tipo de fuente de información son los modelos de formulario de evaluación final producidos para los distintos tipos de becas (de formación, para tecnólogos, pre-doctorales y postdoctorales) por la Fundación Española para la Ciencia y la Tecnología (FECYT, 2003). Ellos son aplicados sistemáticamente, con pequeñas adaptaciones, en diferentes acciones del Subprograma de Ayudas para la Formación del Personal Investigador, adscrito a la Subdirección General de Formación y Movilidad de Investigadores de la Dirección General de Programas y Transferencia de Conocimiento del Ministerio de Ciencia e Innovación de España.

Los informes o memorias finales de las becas de formación de posgrado e investigación contienen información sobre la apreciación del director, tutor o investigador anfitrión del becario acerca de la calidad científico-tecnológica de la tesis o trabajo de postdoctorado realizados, el grado de cumplimiento del programa de trabajo, las competencias para la realización de actividades de investigación desarrolladas, la participación e integración del becario al grupo de I+D de acogida, etcétera.

Un ejemplo ilustrativo del uso de este tipo de fuente de información es una investigación evaluativa realizada recientemente acerca de un programa de becas de formación en Colombia, el Programa Jóvenes Investigadores del Departamento Administrativo de Ciencia, Tecnología e Innovación (COLCIENCIAS) aplicado en la Universidad de Antioquia (Jaramillo et al., 2006). Se trata de una investigación multimétodo en la cual se utilizan, entre otras fuentes, los informes de evaluación producidos por los tutores de cada becario-pasante al término de sus prácticas de formación como joven investigador, documentos recopilados a partir de los archivos de la Vicerrectoría de Investigaciones de la universidad analizada. Esta fuente de información se sumó a otras fundamentales en el estudio de caso realizado, entre ellas los planes de trabajo e informes de investigación de los jóvenes beneficiarios al Programa y las bases de datos pertenecientes a la Plataforma ScienTI de COLCIENCIAS, que contiene información sobre los antecedentes curriculares de los jóvenes becarios, de los grupos de I+D que los albergaron durante las pasantías del programa y de otros jóvenes investigadores no becarios del programa pero a partir de quienes se pudieron establecer listas de control.

Si bien esta fuente proporciona rica información cualitativa sobre los significados atribuidos por los tutores de los becarios a su desempeño académico y a su participación en el grupo de investigación, una de las dificultades más importantes que puede plantear es su no adecuación, bien por la inexistencia de la información específica que se desea (se registran numerosos casos de becarios sin evaluación de su tutor o con datos incompletos), bien porque la información existente se encuentra alejada de los objetivos concretos que asume la evaluación (ya que los registros originarios, generalmente de carácter abierto o poco sistemático, pueden recoger interesantes relatos de las experiencias vividas pero que no resultan coincidentes con las consignas indicadas por el organismo gestor para su llenado), complicándose y limitándose consecuentemente las posibilidades de análisis de los datos y su interpretación.

3.2. Información estadística de posgraduados y recursos humanos en ciencia y tecnología

La información estadística disponible en los países iberoamericanos acerca de la evolución y las principales características de las becas otorgadas con relación a variables como género, grupo de edad, disciplina científica, nivel de formación de posgrado, lugar geográfico e institucional de realización de los estudios e investigaciones y montos de las ayudas concedidas, entre otras, así como de los posgraduados y de los recursos humanos en ciencia y tecnología que se desempeñan en su territorio, constituye ciertamente una referencia básica y fundamental para la realización de evaluaciones de resultados y alcances de los programas de becas.

Se trata de aprovechar y utilizar los datos secundarios producidos por distintos organismos para sus propias actividades y aquellos que son proporcionados y analizados en diversas publicaciones e informes, tales como las estadísticas elaboradas a partir de bases de datos específicas de los propios programas de becas, o de diversos registros administrativos, presupuestarios y de recursos humanos existentes a nivel institucional y nacional, como las estadísticas "oficiales" nacionales e internacionales relativas a las características de los estudiantes de posgrado y posgraduados y de los recursos humanos en ciencia y tecnología de cada país.

Este tipo de fuente de información tiene varias e importantes ventajas que cabe señalar. En primer lugar, la rápida disponibilidad de los datos y el bajo costo (en recursos humanos y económicos) en relación con relevamientos ad hoc de producción primaria de información. En segundo lugar, la amplia cobertura de las poblaciones de becarios, científicos e ingenieros bajo estudio, la cual facilita el acceso a mayores volúmenes de información que los que pueden alcanzarse mediante una sola investigación primaria para la evaluación de los resultados e impactos de los programas de becas. En tercer lugar, la habitual (relativa, en algunos casos) periodicidad de los datos, la cual permite la elaboración de series históricas para la realización de estudios longitudinales y comparaciones a nivel temporal.

Sin embargo, existen varios y no poco importantes inconvenientes que es preciso tener en cuenta en el uso de la información estadística secundaria acerca de los posgraduados y los recursos humanos en ciencia y tecnología disponibles en los países iberoamericanos.

Como señalan Barrere y Fernández Polcuch (2007) a partir de experiencias recientes de la Red Iberoamericana de Indicadores de Ciencia y Tecnología (RICYT), con más de una década de acción en la región contribuyendo a la producción de estadísticas e indicadores de ciencia y tecnología disponibles para su utilización en la toma de decisiones en los planos nacional e internacional (acción a la que se ha unido en los últimos años el Instituto de Estadística de la UNESCO), la utilización de las estadísticas de los recursos humanos en ciencia y tecnología elaboradas a partir de la aplicación de los lineamientos y metodologías estandarizados más ampliamente aceptados a nivel mundial (las recomendaciones del Manual de Frascati de la OCDE) no resulta necesariamente directa ni está exenta de problemas. Esta afirmación puede extenderse a la utilización de la información secundaria sobre los alumnos y los egresados de nivel superior universitario de posgrado (estos últimos, los posgraduados) producida en los países de la región (contando para ello con el apoyo de la UNESCO a través de su Instituto Internacional para la Educación Superior en América Latina y el Caribe, IESALC, como es el caso de la Oficina de Estadística de la Comisión Europea, EUROSTAT, en los países pertenecientes a la Península Ibérica) y a las estadísticas específicas de los programas de becas de posgrado.

En primer lugar, la utilización de información estadística secundaria puede estar limitada o condicionada por características de los sistemas de información y las estructuras institucionales de cada país, según los cuales la facilidad de acceso a datos producidos por los organismos gubernamentales (de educación superior, ciencia, tecnología e innovación, o institutos nacionales o subnacionales de estadísticas) pueda verse en mayor o menor medida dificultado o restringido. En segundo lugar, porque la información originaria producida puede responder a objetivos administrativos, analíticos y comparativos muy diferentes a los de la evaluación de los programas de becas de posgrado, no resultando adecuado en ocasiones ni su potencial de desagregación (para analizar datos subnacionales de diverso tipo, como a nivel de programas específicos, regiones geográficas, instituciones y disciplinas científicas) ni la coherencia entre fuentes por la utilización de clasificaciones no fácil ni directamente compatibles (requiriéndose esfuerzos de traducción de categorías que indefectiblemente conllevan algún margen de error). En tercer lugar, porque la falta de control y conocimiento del proceso de obtención y registro de la información (a través de especificaciones metodológicas sobre los criterios adoptados en la operacionalización de los conceptos y en la aplicación de los instrumentos de medición utilizados, su consistencia en el tiempo y en el espacio, los métodos de estimación de la información faltante empleados, los tipos de muestra aplicados, sus errores y potencial en términos de generalización de los resultados, entre otros aspectos) puede limitar la evaluación de la calidad intrínseca de los datos y su correcta interpretación. En cuarto y último lugar, porque su potencial de favorecer la comparación de datos se restringe cuando acaecen cambios en la organización de la información a lo largo del tiempo, particularmente en las estadísticas sobre los programas de becas.

Con respecto a estas últimas, cabe destacar que la información estadística disponible en los países iberoamericanos tiene altos niveles de agregación y está referida a unas pocas dimensiones analíticas de los programas de becas de formación de posgrado de los organismos públicos, como son las disciplinas científicas y los campos de aplicación de los estudios de sus beneficiarios individuales, los tipos de becas concedidas (según los niveles educativos de las ayudas y los destinos geográficos -en general, dicotomizados en nacional y extranjero- de su realización), los costos económicos de las ayudas, los tipos de instituciones académicas, científicas y tecnológicas de formación, el género y el grupo de edad de los becarios.

Uno de los ejemplos más completos de la región en materia de información secundaria disponible producida por los propios organismos gestores de los programas de becas de posgrado lo ofrece la Fundação para a Ciência e a Tecnologia (FCT) del Ministério da Ciência, Tecnologia e Ensino Superior de Portugal, que hace público en su portal institucional un conjunto de estadísticas relativas a su programa de becas de formación avanzada (candidaturas y becas otorgadas en los niveles de maestría, doctorado y posdoctorado, estas últimas caracterizadas según las dimensiones analíticas antes reseñadas) y permite el tratamiento de series históricas.

Sin embargo, las grandes ausentes han sido las estadísticas básicas sobre los resultados de los programas, como el número de becarios que obtuvieron su título académico, con el detalle correspondiente por institución, disciplina científica, período de tiempo transcurrido para la obtención de dicho título, entre otros atributos. En algunos países de la región, por ejemplo en Argentina, este tipo de información se elabora, aunque aún en forma no sistemática ni pública, con el propósito de enriquecer la toma de decisiones institucionales en el ámbito del Consejo Nacional de Investigaciones Científicas y Técnicas (CONICET) del Ministerio de Ciencia, Tecnología e Innovación Productiva de ese país. Ese organismo, dador del mayor número de becas de formación de científicos e ingenieros a nivel nacional, ha desarrollado en los últimos años una herramienta informática de apoyo integral a sus procesos de gestión y evaluación que logró reunir, en una base de datos única, confiable y actualizada, relevante información académica y administrativa, y a partir de la cual poder producir, entre otras, estadísticas sobre el número de tesis de posgrado finalizadas y defendidas y el número de nuevos doctores correspondientes a sus recientes cohortes de ex becarios.

Tampoco se ha relevado ningún tipo de información secundaria disponible acerca de los impactos de los programas de becas en el incremento de la calidad de la educación superior, en el mejoramiento de la rentabilidad del período de recuperación de la inversión y de la creación de valor, u otros aspectos de interés económico y social para los organismos públicos de la región.

Dadas las importantes limitaciones e inconvenientes que presenta la información estadística disponible de posgraduados y recursos humanos en ciencia y tecnología para la realización de evaluaciones de resultados e impactos de los programas de becas, la articulación complementaria con otras fuentes de datos (como los CVs de los ex becarios, los formularios electrónicos utilizados en la gestión y la evaluación de los propios programas, las bases de publicaciones científicas y patentes o incluso algunas estadísticas de contexto) resulta una de las estrategias más recomendadas. Sin embargo, la triangulación de diversas fuentes de información acarrea nuevas dificultades relacionadas con las asimetrías existentes entre las diferentes fuentes que se pretende combinar.

Un estudio que, en esta línea temática, logró aprovechar la complementación de diversas fuentes de información estadística disponibles fue conducido recientemente en el Instituto Brasileiro da Qualidade e Produtividade (IBQP) (Viotti y Baessa, 2008). El esfuerzo estuvo orientado a cruzar grandes volúmenes de información perteneciente a tres monumentales bases de datos nacionales: el Cadastro de Titulados de la Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) y el Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) del Ministério da Ciência e Tecnologia, la Relação Anual de Informações Sociais del Ministério do Trabalho e Emprego y el Cadastro Nacional de Informações Sociais del Ministério da Previdência Social de Brasil. El fin era elaborar un análisis descriptivo referido a algunas características básicas del empleo de los doctores brasileños registrados en esas bases de batos, mostrando su distribución por áreas de conocimiento, tipo de instituciones empleadoras, sectores de actividad de tales instituciones empleadoras, remuneración económica percibida, lugar de origen (donde obtuvieron su título académico de doctor) y lugar de destino (donde se desempeñan laboralmente), entre otros aspectos.

3.3. Bases de publicaciones científicas y patentes

Una fuente de información clásica para la evaluación y cuantificación de los resultados y rendimientos de los recursos financieros y humanos invertidos en las actividades de ciencia, tecnología e innovación en general, y en los programas de apoyo a la formación en ciencias e ingeniería en particular, son las bases de publicaciones científicas y patentes.

Existen distintas bases de datos que recopilan las publicaciones científicas, con distintos objetivos y coberturas. Cada una de ellas cuenta con una colección de revistas científicas que han sido acumuladas durante numerosos años, generalmente seleccionadas de acuerdo con estrictos criterios de calidad académica. Las bases de datos, actualmente de acceso en línea, contienen referencias bibliográficas que incluyen el título del artículo, sus autores, la pertenencia institucional de los mismos, la revista de publicación y el resumen del documento, entre otros datos. Existen bases bibliográficas multidisciplinarias, que buscan cubrir varios campos de la ciencia, y otras especializadas en una sola disciplina.

Las bases de datos que aportan información sobre la producción científica pueden clasificarse en (REDES, 2007):

• internacionales: buscan cubrir la "corriente principal" (mainstream) internacional de la ciencia y dan cuenta de las publicaciones que van marcando la frontera científica. Muchas de ellas cubren períodos muy extensos, algunas remontándose a mediados del siglo pasado. Sin embargo, existe una fuerte discusión sobre la representatividad de estas fuentes con respecto a la actividad científica de los países en desarrollo, dado que hay barreras temáticas, económicas e idiomáticas que dificultan la publicación de trabajos de esos países en las revistas indexadas por estas bases de datos. El acceso a estas fuentes se realiza por lo general mediante suscripciones, que suelen tener un costo relativamente alto para la mayoría de los países latinoamericanos. Entre este tipo de fuentes puede mencionarse al Science Citation Index (SCI), del Institute for Scientific Information (ISI), la fuente multidisciplinaria más utilizada internacionalmente. En ese mismo ámbito están SCOPUS y PASCAL. Entre las especializadas pueden mencionarse Medline (ciencias de la salud), Chemical Abstracts (química) y COMPENDEX (ingeniería), entre otras;

• regionales: actualmente existen distintas bases de datos que recopilan la información científica producida en Iberoamérica, surgidas como respuesta a la discusión sobre la cobertura de la producción científica regional por parte de los índices internacionales. La mayoría de ellas son de acceso gratuito y, al igual que las principales fuentes internacionales, cubren lo publicado en una colección de revistas seleccionadas siguiendo criterios de calidad académica. Entre estas fuentes pueden mencionarse LILACS (ciencias de la salud), PERIODICA (multidisciplinaria) y CLASE (ciencias sociales y humanidades). Un caso de particular importancia es el proyecto regional SciELO (Scientific Electronic Library Online), que integra bases de datos generadas en más de diez países de América Latina con una metodología común e incluye estrictos requisitos de calidad; y

• nacionales: existen numerosas bases de datos con información sobre publicaciones científicas recopiladas a nivel nacional. En general, el objetivo de estas fuentes es recopilar los productos de la investigación realizada por investigadores de una institución o por los proyectos financiados por un fondo determinado. Frecuentemente no indexan exclusivamente una colección de revistas, sino que se generan a partir de informes utilizados para el monitoreo y evaluación de investigadores y proyectos. Éste suele ser un inconveniente importante, dado que no se toman los datos de la fuente primaria, no siempre es posible dar cuenta de la calidad de las revistas en que fueron editados los trabajos y no se cuenta con un universo pensado para ser representativo de una o varias disciplinas.

La información contenida en las bases de datos bibliográficas puede ser explotada analíticamente siguiendo las sólidas metodologías, ampliamente difundidas, utilizadas y validadas, para la construcción de diversos tipos de indicadores bibliométricos. El seguimiento de las características de la producción científica de los beneficiarios durante el período inmediatamente posterior a la conclusión del programa de formación o la estancia postdoctoral y relacionada con las temáticas desarrolladas en el respectivo programa, realizando comparaciones con los colegas de su correspondiente disciplina, institución y/o país, así como de la comunidad científica internacional, es una de las aplicaciones posibles de esta fuente de información y los indicadores que ella permite construir a la evaluación ex-post de los resultados e impactos de los programas públicos de becas.

Las bases de patentes de invención incluyen valiosa información para el monitoreo del estado de la técnica en los distintos campos tecnológicos (REDES, 2007). Son, además, bases que están disponibles en casi todos los países con series temporales relativamente extensas de datos.

Entre la información contenida en los títulos de patentes se incluyen los datos del inventor y su país de procedencia, documentos y patentes citados como respaldo, así como el campo de aplicación tecnológica de referencia. Son documentos que están normalizados internacionalmente, por lo que su análisis comparativo entre países se ve muy facilitado. Por el contrario, es necesario mencionar que las variaciones de legislación entre países pueden implicar fuertes diferencias en el interés y capacidad de patentar los inventos. Asimismo, las estrategias empresariales sobre los países y/o regiones de comercialización de sus productos pueden influenciar marcadamente en la cantidad de patentes presentadas en un país.

La información contenida en los documentos de patentes es, por su propósito de proteger la propiedad intelectual y permitir la difusión tecnológica, siempre de carácter público. De esta manera, las fuentes de datos son, potencialmente, las oficinas de patentes de todos los países. Sin embargo, resulta imposible tener acceso a toda esa información tecnológica, dado que son pocas las oficinas que brindan acceso completo en forma electrónica a sus bases de datos. Además, recurrir a tantas fuentes de información resultaría un proceso muy complejo. No obstante ello, recurriendo a las bases producidas por las oficinas de patentes de Estados Unidos, Europa y Japón, las cuales además brindan acceso gratuito a sus datos, es posible cubrir los mercados más importantes del mundo, obteniendo un rico panorama internacional. También se puede recurrir a los datos disponibles en la Organización Mundial de la Propiedad Intelectual (OMPI) en materia de patentes otorgadas en el marco del PCT (Patent Cooperation Treaty).

Existen también bases de datos de patentes que recopilan la información de distintas fuentes, les aportan algún tipo de valor agregado y las entregan como un producto comercial. Una de las más difundidas es Derwent, que además de tener una amplia cobertura geográfica hace reelaboración de los datos que están disponibles en bases públicas, unificando registros duplicados, mejorando los títulos de las patentes para hacerlos más claros y estructurando los resúmenes. Otras similares son Delphion y Micropatent, que aunque cuentan con una cobertura similar presentan la ventaja adicional de ofrecer herramientas de análisis de información.

La utilización analítica a los fines de la evaluación de los resultados de los programas de becas de formación de científicos e ingenieros de esta fuente de información tiene que tener en cuenta -como señalan De Filippo y Fernández (2003) para las bases de publicaciones científicas, pero en afirmaciones que vale extender a las de patentes de invención- que la selección de las fuentes primarias de información, de los datos a incluir y de la estructura de estas bases de datos depende de los criterios de sus productores. El objetivo de las bases de datos bibliográficas y de patentes no es de modo alguno la construcción de indicadores bibliométricos, sino la recopilación de la literatura científica como medio primordial de difusión del conocimiento y la protección de la propiedad industrial de las invenciones como vía de difusión de los avances tecnológicos de aplicación comercial.

Por tanto, la elección de las bases de datos más adecuadas para la realización de estudios sobre la producción de artículos publicados en revistas científicas y sobre la participación en producciones tecnológicas protegidas por patentes de diferentes cohortes de ex becarios de los programas públicos de apoyo a la formación de posgrado, condicionará los indicadores bibliométricos que puedan construirse a partir de ellas.

Quedarán fuera de conteo, además, necesariamente, otros resultados de la producción científica difundidos a través de libros, informes, monografías u otras vías de comunicación, que no se consideran generalmente en los análisis más allá de su importancia sustantiva. Tampoco podrán ser consideradas las producciones tecnológicas protegidas a través de otros títulos de propiedad intelectual, como diseños industriales, derechos de obtentor u otros, así como las producciones no protegidas por títulos de propiedad intelectual pero que muchas veces resultan fuentes de transferencias tecnológicas de la mayor relevancia e impacto económico y social.

Otro aspecto a señalar, que opera como fuerte condicionante de los estudios de evaluación, particularmente en lo referido a las bases de publicaciones científicas, es que la falta de normalización de buena parte de los datos contenidos en ellas dificulta enormemente la búsqueda y recuperación de información y su posterior tratamiento.

3.4. Ventajas e inconvenientes de estas fuentes

A modo de resumen de los puntos anteriores de esta sección, en la Tabla 2 se presentan las principales ventajas e inconvenientes de las fuentes de información disponibles para la evaluación ex-post de los resultados e impactos de los programas de becas de formación de científicos e ingenieros.

Tabla 2: Ventajas e inconvenientes del uso de las fuentes disponibles

4. Fuentes de información a desarrollar, consolidar y explotar

En esta sección se describen tres fuentes de información, diferentes pero complementarias, para la evaluación de los resultados e impactos de los programas de becas, las cuales, a diferencia de las anteriores, no han sido hasta el presente lo suficientemente desarrolladas como tales o requieren mayor desarrollo y consolidación para su explotación y aprovechamiento analítico en los países iberoamericanos.

Se trata de fuentes primarias cuantitativas, como las encuestas de trayectorias académicas y profesionales, expectativas laborales futuras y opiniones de los ex becarios y de sus directores, tutores o anfitriones en los centros de I+D de acogida; fuentes primarias cualitativas, como las entrevistas en profundidad individuales o los grupos de discusión con los diversos actores sociales que resultaron beneficiarios indirectos de las ayudas concedidas, como directores de centros de I+D o instituciones universitarias, funcionarios gubernamentales y representantes del sector privado, así como los propios gestores de los programas de becas; y bases estandarizadas de CVs de posgraduados y recursos humanos en ciencia y tecnología.

4.1. Encuestas de trayectorias, expectativas y opiniones

La encuesta, una de las estrategias de investigación social cuantitativa más utilizadas a nivel internacional, puede definirse como la aplicación de un procedimiento estandarizado para recoger y analizar estadísticamente información verbal o escrita de una muestra de individuos pertenecientes a una población concreta, a través de las diferentes preguntas que componen el cuestionario diseñado ad hoc.

Puede proveer información sobre aspectos objetivos (hechos) y subjetivos (expectativas, opiniones y actitudes) relativos al presente o al pasado de los ex becarios, información que debe construirse de forma estructurada (esto es, formulándose las mismas preguntas y en el mismo orden a cada uno de los individuos encuestados) para que las respuestas recopiladas puedan analizarse comparativamente. La significatividad de la información que ella proporcione dependerá de la existencia de errores de muestreo (relativos al diseño muestral aplicado, las técnicas de selección y reemplazo de las unidades muestrales y la heterogeneidad de la población bajo estudio) y de otros errores ajenos al muestreo (relativos bien al diseño del cuestionario -en cuanto a la adecuación de la formulación y el orden de las preguntas a los objetivos de medición-, bien al trabajo de campo -en cuanto a sesgos introducidos por el entrevistador durante el desarrollo de la entrevista si la encuesta no es autoadministrada o atribuibles al encuestado por fallos de memoria o factores propios de la situación de entrevista-, bien al procesamiento estadístico de los datos -criterios y procedimientos de codificación, almacenamiento, análisis e interpretación-).

En su carácter de fuente de información de fuerte potencial para la evaluación de resultados e impactos de los programas de becas de posgrado, los individuos a encuestar pueden ser los propios beneficiarios directos de los programas (o ex becarios) o sus ex directores de tesis, o los responsables de grupos de I+D de acogida, en el caso de los ex becarios postdoctorales. Una ventaja muy importante que tiene la utilización de la encuesta como instrumento de relevamiento de información en estas evaluaciones es que los organismos responsables de la gestión de los programas suelen contar con registros bastante completos y actualizados de información básica acerca de los beneficiarios (y en ocasiones también de sus directores o tutores, sobre todo si son investigadores nacionales), lo que permite contar con un adecuado marco muestral a partir del cual construir muestras probabilísticas y con ello asegurar la posibilidad de generalización de los resultados.

Otra ventaja importante que presenta el uso de encuestas es que, al permitir recolectar datos tanto de sucesos objetivos como de las perspectivas subjetivas de los individuos sobre esos sucesos, puede abarcar en un mismo estudio la reconstrucción de aspectos específicos acerca de la trayectorias educativas y laborales de los beneficiarios directos de la ayudas otorgadas en los programas de becas, así como de aspectos relacionados con las percepciones que tienen dichos beneficiarios, al momento de la consulta, sobre la gestión de los programas (lo cual puede proveer información muy rica para el mejoramiento futuro de los programas) y del impacto que las ayudas concedidas están teniendo en el desarrollo de sus trayectorias académicas y profesionales.

En particular, la recolección de información detallada acerca de las trayectorias educativas y laborales de los ex becarios al término de las ayudas concedidas no suele ser realizada por los organismos responsables de estos programas en la región, y menos aún suele ser de disponibilidad pública y de fácil acceso. Si bien es cierto que existen numerosas similitudes entre el tipo de información que puede aportar en este sentido las encuestas de seguimiento de trayectorias educativas y profesionales de ex becarios y la información pasible de ser captada y procesada analíticamente a partir de sus CVs, y que el esfuerzo (tanto técnico como económico) de aplicar estos instrumentos resulta en ocasiones muy grande, la encuesta puede proveer información sobre dimensiones específicas de evaluación no aseguradas en los CVs y el trabajo de codificación de los resultados puede resultar comparativamente mucho menor, e incluso más sencillo, que el correspondiente a un corpus de CVs estandarizados mas no normalizados (considerando además que la utilización sistemática de los CVs como fuente de evaluación es un campo aún poco explorado en la región y conlleva complejidades propias).

Una importante experiencia desarrollada en esta materia surgió en 2004 entre la Dirección de Ciencia, Tecnología e Industria de la OCDE, el Instituto de Estadística de la UNESCO y EUROSTAT. Se trata de un proyecto internacional sobre trayectorias de profesionales con doctorado que, como señala Luchilo (2006), proporcionó acuerdos metodológicos en torno a los ejes de interés para el análisis comparativo (entre los que se cuentan la movilidad internacional e intersectorial pública-privada de los doctores, los ajustes y desajustes entre la formación académica y las demandas de los mercados de trabajo, la escasez o sobreoferta de graduados de doctorado y el atractivo de las trayectorias científicas), definiéndose a partir de ellos un conjunto básico de aspectos o dimensiones relevantes para los estudios de las trayectorias de doctores (referidas a datos personales, datos de educación, datos de empleo, percepciones sobre las características de su trabajo y satisfacción con su situación ocupacional, así como a la movilidad y a la producción científica). La experiencia también aportó un cuestionario modelo para su aplicación, junto con criterios estándar para la construcción de las muestras, la recolección y el procesamiento de los datos, la estimación de los resultados, la evaluación de la calidad de la información producida y su publicidad. Esta encuesta fue aplicada exitosamente en tres países iberoamericanos: Argentina, España y Portugal.

Si bien los estudios de trayectorias de doctores no abarcan todos los aspectos específicos de los objetivos de la evaluación de resultados e impactos de los programas de becas de formación, aquellos particularmente relacionados con el relevamiento de datos "objetivos" acerca de las trayectorias de formación académica, laborales y de producción científica de sus beneficiarios mantienen importantes coincidencias. Algunos aspectos "objetivos" y "subjetivos" de gran utilidad en las evaluaciones de resultados e impactos de los programas de becas acerca de los cuales pueden proveer información las encuestas realizadas ad hoc son:

• perfil socio-demográfico de los beneficiarios de las ayudas, incluyendo también información básica acerca del nivel educativo de sus padres;
• trayectoria educativa, a través de sets de preguntas referidas a la formación académica del ex becario, a las características de las instituciones en las que realizó o realiza sus estudios, a las disciplinas científicas de su formación académica y a las fuentes de financiamiento que lo ayudaron o ayudan a realizarla;
• trayectoria laboral, relevando información referida a la situación de empleo en el momento de realización de la encuesta, al primer empleo obtenido luego de finalizada la ayuda, o a los empleos actuales;
• trayectoria y producción científica y tecnológica, relevando información referida a las actividades científicas y tecnológicas realizadas (actividades de formación de recursos humanos, de I+D, etcétera), así como sobre aquellos resultados (publicaciones científicas o desarrollos tecnológicos, con o sin títulos de propiedad intelectual) en los que han participado durante o finalizado el período de la ayuda;
• movilidad internacional, explorando los países en los cuales han vivido los beneficiarios de las ayudas, así como las razones que los han conducido a hacerlo;
• colaboración científica y tecnológica, indagando acerca de los vínculos del beneficiario con grupos e instituciones de ciencia, tecnología y educación superior (tanto en el país que ha otorgado la ayuda como en el extranjero) y los principales efectos de estas colaboraciones sobre su trayectoria educativa y laboral;
• opinión sobre el programa de becas de formación, a través de baterías de preguntas dirigidas a conocer la autoevaluación que realizan los beneficiarios sobre la calidad de la beca de la que fueron beneficiarios y su grado de satisfacción con respecto a la experiencia como becario del programa bajo evaluación;
• percepciones de los beneficiarios en cuanto a la relevancia de la formación percibida con la ayuda otorgada y el impacto que dicha formación está teniendo en su trayectoria profesional.

Una experiencia reciente en la utilización de este tipo de instrumento, complementado con la utilización de estadísticas disponibles y entrevistas individuales y grupales, entre otras fuentes de información, es la evaluación de por el Centro REDES de Argentina (REDES 2008).

La técnica de sondeo que se utilizó en ese estudio fue una encuesta autoadministrada on-line, una encuesta realizada sin ninguna participación de encuestadores. Entre sus principales características, de las que se desprenden algunas ventajas y desventajas particularmente referidas a su aplicación a poblaciones como las de ex becarios de formación de posgrado (con alto nivel educativo y habitual acceso a recursos de Internet), cabe señalar:

• su bajo costo, por no requerir el trabajo de equipo de encuestadores especialmente entrenados para la aplicación de los cuestionarios, ni de supervisores de la calidad y veracidad del trabajo de campo realizado;
• su mayor rapidez frente a otro tipo de técnicas de sondeo (como las encuestas presenciales o por correo postal);
• sus potencialidades en términos de cobertura geográfica (aspecto de relevante importancia en este tipo de estudios ya que permite captar a aquellos beneficiarios de los programas de becas de formación que se encuentren en el exterior);
• la posibilidad de suministrar material extra (escrito o visual), como preguntas con listas de múltiples opciones de respuesta que requieren la reflexión del encuestado (facilitada, además, por la autoguía de los tiempos de respuesta típica de una técnica autoadministrada);
• la garantía de no distorsión en la formulación de las preguntas (una desventaja más común en las encuestas realizadas "cara a cara" por el "sesgo" que puede introducir el encuestador en su interacción con el encuestado);
• la relativa simplicidad que requiere el cuestionario que se provee al encuestado (con consignas muy claras que puedan ser seguidas con precisión) para que él complete, administrando sus propios tiempos (aspecto fundamental en poblaciones de altos niveles de formación, como la de los ex becarios);
• la posibilidad de formular un cuestionario de extensión mediana, conteniendo un número medio de preguntas (a diferencia del mayor número administrable en las encuestas presenciales y del menor número que resulta factible en las encuestas formuladas telefónicamente); y
• la tasa de respuesta muy dependiente de las motivaciones y estrategias de reclutamiento de la población, si se cuenta con un instrumento de recolección de datos "amigable" al usuario.

4.2. Entrevistas semi-estructuradas individuales y grupales

La entrevista semi-estructurada, en profundidad o abierta, estrategia de investigación social cualitativa por excelencia, consiste en la realización de uno o más encuentros "cara a cara" entre el entrevistador y uno o varios informantes, encuentros que están dirigidos al desarrollo de una comprensión detallada de las perspectivas y representaciones socialmente construidas que tienen esos informantes respecto de sus vidas, de experiencias o situaciones en los que estuvieron o están involucrados, y los significados subjetivos que tienen para ellos, tal como los expresan con sus propias palabras. Es una técnica apropiada para revelar aspectos subjetivos sobre temas complejos y generalmente tiene como objeto "descubrir" antes que "verificar". Su propósito es recoger información en profundidad acerca de la temática en cuestión, haciendo uso de la información provista por una cantidad de informantes relativamente pequeña. No debe, sin embargo, ser considerada como una técnica en competencia con otras antes analizadas, sino como una fuente de información que proporciona una mirada complementaria.

La forma más común de entrevista cualitativa es la individual, que implica un encuentro con un solo informante a la vez. La principal ventaja de este tipo de técnica es que las visiones expresadas a lo largo de la situación de entrevista emanan del actor social entrevistado, por lo cual resulta bastante directo ubicar y profundizar ideas específicas con personas específicas. Otra ventaja es que, una vez logrado el acceso al informante y negociado el rol de entrevistador, es una situación relativamente fácil de controlar, dado que sólo se necesita entender e interrogar las ideas de una persona y guiarla a través del protocolo general de la entrevista.

En las evaluaciones de resultados e impactos de los programas de becas, los actores sociales naturalmente destinatarios del relevamiento de este tipo de información suelen ser los propios ex becarios o bien sus ex directores de tesis o anfitriones de los becarios postdoctorales. A través de esta técnica de naturaleza flexible y dinámica, resulta posible indagar acerca de, entre otros, aspectos tales como la importancia que las ayudas y las diversas experiencias de formación e investigación desarrolladas durante las becas han tenido para los beneficiarios directos en el inicio de las primeras etapas de sus trayectorias académicas y profesionales, la participación creciente en redes sociales de conocimiento y el aprendizaje de los mecanismos y modalidades de producción y colaboración científica desde sus propias perspectivas.

La otra forma que pueden asumir las entrevistas cualitativas es la de una investigación que implica más de un informante a la vez, comúnmente conocida como entrevista de grupo, grupo de discusión o grupo focalizado. El número de personas incluidas varía en función de la temática que específicamente se desee tratar, pero existe un fuerte consenso metodológico acerca de que es recomendable no superar los diez integrantes, ya que este tipo de entrevista tiene como propósito reunir un conjunto de personas para que puedan interactuar entre sí y discutir abiertamente como grupo.

Las entrevistas grupales tienen numerosas ventajas sobre las entrevistas individuales. En particular, ayudan a explorar visiones o representaciones consensuadas socialmente, generan respuestas muy ricas al permitir a los participantes desafiar los puntos de vista de los otros miembros (que hasta pueden derivar en introspecciones que de otra manera posiblemente no hubieran salido a la luz), y pueden ser utilizadas para testear ideas sobre los datos obtenidos a través de otros métodos (ayudando así a aumentar la confiabilidad de las respuestas recopiladas). Sin embargo, también es preciso tener en cuenta que, en ocasiones, las entrevistas de grupo ahogan ciertos puntos de vista, especialmente aquellos de las personas más "serenas" o tímidas. Ciertos miembros del grupo pueden convertirse en líderes y dominar la charla, mientras que otros probablemente deberán luchar para ser escuchados. Otra desventaja potencial de las entrevistas de grupo es que las opiniones expresadas son generalmente aquellas que son percibidas como las "aceptables" dentro de la sociedad; cuando los miembros del grupo perciben sus opiniones como contrarias a la opinión prevaleciente, puede que se mantengan callados o moderen de alguna forma su punto de vista (a diferencia de las entrevistas individuales, en las que la privacidad de la entrevista "uno a uno" no presenta esta dificultad). Finalmente, un inconveniente en ocasiones importante de este tipo de entrevistas es la dificultad de registrar las discusiones que tienen lugar, ya que los participantes se interrumpen entre sí y hablan en forma simultánea.

Los actores sociales "naturalmente" destinatarios de la aplicación de este tipo de técnica de investigación cualitativa en el marco de evaluaciones de resultados e impactos de los programas de becas suelen ser los propios ex becarios, pero fundamentalmente se trata de funcionarios gubernamentales en general y del propio organismo promotor de las ayudas, representantes del sector empresario, directores o coordinadores de posgrados, responsables de centros o institutos de I+D, entre otros. En estos casos el objetivo de la indagación es captar las representaciones consensuadas socialmente acerca de los resultados e impactos que han tenido las becas para cada uno de estos actores y los sectores que ellos representan.

Ésta fue, como se señaló anteriormente, una de las técnicas utilizadas en la evaluación del programa público de becas de formación de posgrado de México (REDES 2008). Entre otras, las temáticas discutidas en los grupos fueron:

• la percepción acerca del impacto de la beca sobre la movilidad educativa y social;
• los rasgos de identidad específicos de las becas;
• la percepción acerca del impacto de las becas en el desarrollo científico y tecnológico del país;
• las ventajas y dificultades de los ex becarios en su trayectoria laboral posterior (tanto desde la perspectiva de los ex becarios como de la perspectiva de los empleadores de ex becarios);
• las opiniones acerca de la llamada "fuga de cerebros";
• las opiniones acerca del sistema de becas (procedimientos de asignación y seguimiento; montos concedidos; plazos de duración; niveles de posgrado que se privilegian; sistemas de becas para estudios de posgrado en el extranjero, etcétera); y
• los efectos e impactos diferenciales de las becas según la región geográfica del país.

Por último, es importante señalar algunas desventajas intrínsecas a la entrevista (tanto individual como grupal) como fuente de información. Primero, que la realización del trabajo de campo consume mucho tiempo y su costo es alto si los informantes están geográficamente dispersos (desventaja que queda reducida al mínimo, por ejemplo, en las encuestas autoadministradas on-line). Segundo, que en tanto la información recolectada no está estructurada previamente y por lo tanto tampoco está normalizada, su procesamiento conlleva esfuerzos bastante importantes de codificación analítica y tabulación antes de proceder a su interpretación.

4.3. Bases estandarizadas de CVs de posgraduados y recursos humanos en ciencia y tecnología

Los CVs u "hojas de vida" (según su denominación en algunos países de la región) de los beneficiarios directos de los programas de becas de formación de posgrado constituyen herramientas analíticas privilegiadas para el abordaje de las trayectorias científicas y tecnológicas de los científicos e ingenieros porque (Dietz et al.,2000; D'Onofrio, 2008 y otros):

• son los únicos documentos que informan, con un importante nivel de detalle y riqueza analítica (en algunos casos es posible tener unas 2.000 variables en un CV), acerca de las actividades académico-profesionales realizadas por ellos (incluyendo dónde y con quiénes trabajan), sus características socio-demográficas, sus trayectorias educativas, los resultados alcanzados y otros rasgos específicos de sus trayectorias (por ejemplo, becas y subsidios de investigación obtenidos, patrones de colaboración científica, de movilidad geográfica e institucional, reconocimientos o premios honoríficos obtenidos, etcétera);
• son documentos históricos que evolucionan a lo largo del tiempo, captando los cambios en los intereses, trayectorias y relaciones de los investigadores y permitiendo la realización de estudios longitudinales;
• pueden utilizarse en conjunto con otras fuentes de información (como las bases internacionales de publicaciones científicas y de patentes, encuestas y otras); y
• son documentos relativamente accesibles (muchas veces de dominio público) al ser habitualmente requeridos en la evaluación de los investigadores (como resulta el caso de la evaluación de los programas de becas de formación de posgrado).

La utilización de CVs como fuente de información presenta, sin embargo, algunas limitaciones:

• dado que la información del CV es aportada por el propio investigador, se presentan problemas de validez (ya que por tratarse de información auto-reportada puede seguirse una estrategia de "embellecimiento" del propio CV donde, por ejemplo, todos los detalles de la carrera se registren con el mismo peso) y confiabilidad (en el sentido de que parte de esa información puede ser inventada);
• la identificación y el tratamiento analítico de las versiones largas y cortas de CVs. Muchos CVs se comprimen y la información que puede ser importante en las etapas tempranas de la carrera (aspecto fundamental en la evaluación de programas de apoyo a la formación de posgrado) puede ser poco importante para los científicos e ingenieros más tarde y pueden, así, desaparecer por completo del CV;
• su formato semi-estructurado o estandarizado presenta el riesgo de que se elimine información de valor o se incluya información no relevante;
• el enorme trabajo que implica la codificación analítica del CV para su procesamiento estadístico, además de llevar tiempo y ser tedioso, corre el riesgo de introducir errores y es compleja hasta para los analistas de CVs más entrenados.

Iberoamérica ha sido pionera en el mundo en materia de diseño y desarrollo de bases de datos estandarizadas de los CVs de su personal científico y tecnológico (D'Onofrio, 2008 y 2009). Desde hace una década, diversas iniciativas de esta naturaleza se han sucedido en una decena de países de la región. Algunas de ellas cuentan hoy con importantes avances en términos de su implementación institucional y cobertura de la población nacional de investigadores, mientras que otras están en conformación. ¹

Pero además de los grados de avance alcanzados hasta el presente en tal sentido, que aunque promisorios aún alientan tímidamente su utilización en el diseño de nuevos modelos de evaluación de resultados e impactos de los programas de becas de formación de posgrado, hay una importante dimensión de análisis en la cual cabe identificar fuertes diferencias entre las referidas bases de CVs. Esta dimensión de análisis es, precisamente, el objetivo fundamental de la construcción de las bases de CVs en la región: la estandarización de CVs "para propósitos de impresión electrónica" (de gran importancia en la gestión de la evaluación de antecedentes académicos y científicos de los investigadores) o dirigida a la explotación estadística de la información contenida en los CVs y la construcción de indicadores sobre las trayectorias científicas y tecnológicas de los investigadores.

Aunque todas las experiencias iberoamericanas reseñadas se han planteado entre sus principales propósitos expresos el uso de los datos de CVs en la toma de decisiones, la gestión y la evaluación pública de la I+D, hasta ahora sólo en Brasil, Colombia y España se ha encarado sistemáticamente esta cuestión con fines de producción de indicadores de ciencia y tecnología. Lo que esas tres experiencias tienen en común es que la construcción de indicadores se ha organizado en forma ex-post a la implementación institucional de la base electrónica de CVs, lo cual ha significado un enorme costo en tiempo y dinero de codificación y normalización de enormes volúmenes de texto llenados en forma libre por los investigadores para su procesamiento estadístico, y el diseño de complejas herramientas de integración, limpieza y exploración de información y extracción de conocimiento utilizando tecnologías del área de la minería de datos. Sin embargo, buena parte de la tarea está ya realizada y automatizada, allanándose enormemente el camino para el diseño de nuevos estudios y evaluaciones de resultados e impactos de programas públicos.

Los indicadores de recursos humanos en ciencia y tecnología que las bases estandarizadas de CVs permiten construir son indicadores complejos que están dirigidos a explorar, describir y explicar las trayectorias científicas y tecnológicas de los investigadores iberoamericanos e identificar y caracterizar las redes de relaciones entre los diferentes actores individuales a lo largo de sus trayectorias académicas y profesionales en disciplinas científicas e instituciones particulares. Se trata de nuevos indicadores que pretenden abrir la "caja negra" del modelo tradicional de input-output de producción de las estadísticas oficiales en ciencia y tecnología y obtener explicaciones fundamentadas en evidencia empírica acerca de las relaciones existentes entre los diferentes procesos individuales y sociales (especialmente procesos sociales de carácter grupal e institucional) que están implicados en los diferentes modelos de trayectorias posibles y en los resultados producidos en las diferentes etapas que van desde el momento de la elección de una disciplina científica de formación y la decisión de trabajar en el mercado académico hasta el retiro de él.

En esta línea de investigación viene trabajando en forma pionera en la región un equipo de la Facultad de Economía de la Universidad del Rosario de Colombia dedicado a realizar análisis basados en datos extraídos de bases estandarizadas de CVs y complementados con otras fuentes de información. La investigación evaluativa mencionada en la sección anterior, realizada recientemente acerca del Programa Jóvenes Investigadores de COLCIENCIAS (Jaramillo et al., 2006) estuvo asentada fundamentalmente en datos de CVs de los ex becarios y de sus grupos de investigación de pertenencia, y demostró que los jóvenes investigadores participantes en el programa presentan mayores niveles de producción y de actividad científica que sus pares que no ingresaron al programa, proporcionando estimaciones acerca del valor agregado de los grupos de investigación a la formación de los recursos humanos en ciencia y tecnología. Se utilizó con tal propósito la metodología del análisis "multi-nivel" para el análisis de datos con estructuras complejas de variabilidad, la cual permite determinar el aporte que diferentes variables micro y macro-estructurales seleccionadas separadamente hacen a la explicación y predicción de las probabilidades de éxito con las que cuentan los ex becarios en diferentes contextos de formación como científicos e ingenieros y que, por tanto, permite analizar las principales prácticas, estructuras o procesos que pueden incidir sobre la producción en investigación. En investigaciones posteriores (Jaramillo et al.,2008 y otras) se utilizó también el modelo de la variable dependiente limitada (Modelo Tobit) para evaluar aspectos tales como el efecto que los cambios en diferentes variables de los individuos pueden tener sobre el índice de producción científica y tecnológica y la tasa de producción anual de artículos internacionales a lo largo de su trayectoria académica y profesional.

4.4. Ventajas e inconvenientes de estas fuentes

A modo de resumen de los puntos anteriores de esta sección, en la Tabla 3 se presentan las principales ventajas e inconvenientes de las fuentes de información que es preciso desarrollar, consolidar y explotar analíticamente para una mejor evaluación ex-post de los resultados e impactos de los programas de becas de formación de científicos e ingenieros en la región.

Tabla 3: Ventajas e inconvenientes del uso de las fuentes a desarrollar, consolidar y/o explotar

5. Comentarios finales

Iberoamérica tiene un largo camino por recorrer en materia de utilización de las fuentes de información actualmente disponibles en la región, tales como los formularios estandarizados o semi-estandarizados, informes y memorias de evaluación producidos como parte de sus propias actividades de gestión de los programas de becas, la información estadística de posgraduados y recursos humanos en ciencia y tecnología, y las bases de publicaciones científicas y de patentes de invención, en la realización de evaluaciones acerca de los principales resultados e impactos de esos programas.

Más aún, tiene un largo camino por recorrer en materia de profundización de la aplicación de técnicas como las de las encuestas autoadministradas on-line de trayectorias educativas y laborales de los profesionales con doctorado, sus expectativas y opiniones sobre una serie de aspectos, así como de entrevistas cualitativas individuales y grupales para la exploración y comprensión de las concepciones, valoraciones y representaciones socialmente construidas y consensuadas acerca de los principales resultados e impactos académicos, científicos, tecnológicos, sociales y económicos que han tenido los programas de becas de acuerdo a las visiones de una gama amplia de actores directa o indirectamente involucrados en ellos, tales como responsables de centros de I+D, funcionarios gubernamentales, representantes del sector privado, gestores de los programas y otros.

Pero, y muy fundamentalmente en virtud de su enorme riqueza y potencialidad analítica y la gran ventaja comparativa que presenta la región por la progresiva instalación y desarrollo de bases estandarizadas de CVs de su población de investigadores, tiene un largo camino por recorrer en materia de sistematización y explotación analítica de los grandes volúmenes de datos provenientes de esa novedosa fuente de información con el propósito de responder a específicos propósitos de evaluación. No es casual que precisamente en esta línea la Red Iberoamericana de Indicadores de Ciencia y Tecnología (RICYT) haya abierto recientemente una subred temática de trabajo para la elaboración de nuevos indicadores y estudios especializados en la problemática de la medición de las trayectorias científicas y tecnológicas a partir de los CVs de los investigadores y dirigida a la elaboración de un manual conceptual y metodológico de carácter regional sobre la cuestión.

Con todo, el desafío de la región no es solamente el de utilizar las fuentes de información actualmente disponibles y desarrollar y consolidar aquellas fuentes con las que sería recomendable poder contar para avanzar en la realización de nuevas evaluaciones de programas en ciencia y tecnología, sino integrarlas en diseños metodológicos que den cuenta del carácter altamente complejo que tiene la medición de resultados e impactos de los programas públicos de formación de científicos e ingenieros en los países de la región. No se trata de elegir entre fuentes mejores y peores para esta tarea, en tanto cada una de ellas presenta ventajas indiscutibles y algunos inconvenientes y limitaciones que es preciso sean correctamente atendidos. De lo que se trata es, antes bien, de realizar combinaciones específicas entre las diferentes fuentes de información que fueron reseñadas en este trabajo según las dimensiones analíticas que cada diseño de evaluación incluya, tendiendo progresivamente además a la integración de la información producida por los distintos programas e instituciones de ciencia y tecnología.

Notas

* Las autoras se desempeñan en la Subsecretaría de Evaluación Institucional del Ministerio de Ciencia, Tecnología e Innovación Productiva de Argentina. Correos electrónicos: mgdonofrio@mincyt.gov.ar / jgelfman@mincyt.gov.ar.

** Las autoras agradecen especialmente los aportes y comentarios de Ruth Sautu y Cynthia Jeppesen. Los contenidos del documento son, sin embargo, de exclusiva responsabilidad de las autoras, y no reflejan necesariamente la posición del Ministerio de Ciencia, Tecnología e Innovación Productiva de Argentina.

1 Dos países latinoamericanos cuentan actualmente con sistemas de información curricular consolidados: Brasil y Colombia. El Currículo Lattes del CNPq de Brasil, la primera experiencia desarrollada en la región, registra en un formulario electrónico público los antecedentes y el desempeño académico y científico actual de los investigadores de ese país. Ese formulario electrónico se ha ido constituyendo como un estándar nacional de CV profesional (actualmente con más de 1.142.000 CV registrados) que es utilizado tanto en el ámbito del Ministério da Ciência e Tecnologia y el CNPq (gobierno nacional) como en las principales universidades, institutos, centros de investigación y agencias de promoción de la I+D de los gobiernos federales como un instrumento para la evaluación de investigadores, profesores y estudiantes brasileros. El CvLAC (Currículum Vítae Latinoamericano y del Caribe) de COLCIENCIAS es una aplicación informática basada en el Currículo Lattes pero posteriormente adaptada ad hoc por COLCIENCIAS para el registro y la actualización en línea de las "hojas de vida" de los investigadores colombianos. Colombia tiene, como Brasil, una cobertura total de su población de investigadores (a quienes identifica entre los más de 108.000 CV inscriptos en el CvLAC como aquéllos que también están registrados en un formulario electrónico dirigido a los grupos y proyectos de I+D existentes en Colombia, el GrupLAC de COLCIENCIAS), como resultado del uso obligatorio de la base de CV en la gestión y la evaluación en las convocatorias para el otorgamiento de fondos públicos a la investigación en ese país. Otros países iberoamericanos cuentan con sistemas de información curricular en proceso de implementación: España, Portugal, Argentina, México, Perú, Ecuador, Venezuela, Uruguay y Paraguay. Algunos de ellos están conformando bases de CV que adoptan y adaptan la tecnología y metodología Lattes-CvLAC. Se trata de las experiencias de la Plataforma de Curricula DeGóis perteneciente a la Fundação para a Ciência e a Tecnologia (FCT) de Portugal; del CvLAC Perú, Directorio Nacional de Científicos e Investigadores administrado por el Consejo Nacional de Ciencia, Tecnología e Innovación Tecnológica (CONCYTEC); del CvLAC Ecuador, sistema administrado por la Secretaría Nacional de Ciencia y Tecnología (SENACYT); del Directorio CvLAC Venezuela del Observatorio Nacional de Ciencia, Tecnología e Innovación (ONCTI); y del Sistema CVuy administrado por la Agencia Nacional de Investigación e Innovación (ANII) del Uruguay. Otros países, en cambio, están conformando sistemas de información curricular partiendo de metodologías y desarrollos tecnológicos propios para responder a las especificidades y requerimientos de sus propios sistemas nacionales de ciencia, tecnología e innovación. Ésta es, precisamente, la estrategia adoptada para la conformación del Currículum Vítae Normalizado de I+D+I (CVN.xml) por la Fundación Española para la Ciencia y la Tecnología (FECYT), un proyecto estratégico para la creación de un espacio común de integración e intercambio de información curricular de los investigadores del Sistema Español de Ciencia, Tecnología y Empresa y que recientemente ha sido puesto en pleno funcionamiento, operando ya con la pionera base de CV del Sistema de Información Científica de Andalucía (SICA) de la Junta de Andalucía; así como del Currículum Vítae Único (CVU) en el Sistema Integrado de Información sobre Investigación Científica y Tecnológica (SIICYT) del Consejo Nacional de Ciencia y Tecnología (CONACYT) de México. Finalmente, otros países, como Paraguay, están desarrollando sus bases de CV utilizando una propuesta de variables recientemente elaborada en el marco de la Red Internacional de Fuentes de Información y Conocimiento para la Gestión de Ciencia, Tecnología e Innovación (Red ScienTI) denominada "CV-mínimo de la Red ScienTI".

Bibliografía

1 ALBORNOZ, Mario y ALFARAZ, Claudio (2008): Diseño de una metodología para la medición del impacto de los centros de excelencia, documento de trabajo Nº 37, Buenos Aires, Centro de Estudios sobre Ciencia, Desarrollo y Educación Superior (REDES).         [ Links ]

2 BARRERE, Rodolfo y FERNÁNDEZ POLCUCH, Ernesto (2007): "Alternativas metodológicas y su impacto en la comparabilidad internacional de los indicadores", en RICYT (2007): El Estado de la Ciencia 2007. Principales Indicadores de Ciencia y Tecnología Iberoamericanos / Interamericanos, Buenos Aires, RICYT, pp. 27-38.         [ Links ]

3 BIOTTI, Eduardo y BAESSA, Adriano (2008): Características do Emprego dos Doutores Brasileiros. Características do emprego formal no ano de 2004 das pessoas que obtiveram título de doutorado no Brasil no período 1996-2003, Brasilia, Instituto Brasileiro de Produtividade e Qualidade (IBQP).         [ Links ]

4 BOZEMAN, Barry, DIETZ, James y GAUGHAN, Monica (2001): "Scientific and technical human capital: An alternative approach to R&D evaluation", International Journal of Technology Management 22 (8), pp. 716-740.         [ Links ]

5 DE FILIPPO, Daniela y FERNÁNDEZ, María Teresa (2003): "Bibliometría: importancia de los indicadores bibliométricos", en RICYT (2003): El Estado de la Ciencia 2002. Principales Indicadores de Ciencia y Tecnología Iberoamericanos / Interamericanos, Buenos Aires, RICYT, pp. 69-76.         [ Links ]

6 DIETZ, James, CHOMPALOV, Ivan, BOZEMAN, Barry, O'NEIL LANE, Eliesh y PARK, Jongwon (2000): "Using the curriculum vita to study the career paths of scientists and engineers: An exploratory assessment", Scientometrics 49 (3), pp. 419-442.         [ Links ]

7 D'ONOFRIO, María Guillermina (2008): "Nuevos abordajes metodológicos para la construcción de indicadores de recursos humanos en ciencia y tecnología", en Seminario Internacional sobre Nuevos Indicadores de Ciencia, Tecnología e Innovación, Ciudad de México, RICYT / Consejo Nacional de Ciencia y Tecnología (CONACYT) de México, noviembre.         [ Links ]

8 D'ONOFRIO, María Guillermina (2009): "The public CV database of Argentine researchers and the 'CV-minimum' Latin-American model of standardization of CV information for R & D evaluation and policy-making", Research Evaluation 18 (2), Special issue on the use of CVs in research evaluation, pp. 95-103.         [ Links ]

9 FECYT (2003): Modelos de protocolos para la evaluación de actividades de I+D e innovación, Madrid, Fundación Española para la Ciencia y la Tecnología (FECYT).         [ Links ]

10 JARAMILLO, Hernán, PIÑEROS J., Luis, LOPERA O., Carolina y ÁLVAREZ, Jesús María (2006): Aprender haciendo. Experiencia en la formación de jóvenes investigadores en Colombia, Bogotá, Facultad de Economía de la Universidad del Rosario.         [ Links ]

11 JARAMILLO, Hernán, LATORRE SANTOS, Catalina, ALBÁN, Carolina y LOPERA, Carolina (2008): El hospital como organización de conocimiento y espacio de investigación y formación. Los recursos humanos en salud y su tránsito hacia comunidades científicas: el caso de la investigación clínica en Colombia, Bogotá, Facultad de Economía de la Universidad del Rosario.         [ Links ]

12 LUCHILO, Lucas (2006): "Las trayectorias de los profesionales con doctorado: un estudio internacional", en RICYT (2006): El Estado de la Ciencia 2006. Principales Indicadores de Ciencia y Tecnología Iberoamericanos / Interamericanos, Buenos Aires, RICYT.         [ Links ]

13 REDES (2007): Producción de indicadores y relevamiento de fuentes de información científica, tecnológica y de innovación, Buenos Aires, Centro de Estudios sobre Ciencia, Desarrollo y Educación Superior (REDES).         [ Links ]

14 REDES (2008): Evaluación de impacto del Programa de Formación de Científicos y Tecnólogos del Consejo Nacional de Ciencia y Tecnología (CONACYT) de México, Informe Final, Buenos Aires, Centro de Estudios sobre Ciencia, Desarrollo y Educación Superior (REDES).         [ Links ]