SciELO - Scientific Electronic Library Online

 
vol.1Orientación vocacional: una perspectiva internacional índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Articulo

Indicadores

  • No hay articulos citadosCitado por SciELO

Links relacionados

  • En proceso de indezaciónCitado por Google
  • No hay articulos similaresSimilares en SciELO
  • En proceso de indezaciónSimilares en Google

Bookmark


Orientación y sociedad

versión On-line ISSN 1851-8893

Orientac. soc. v.1  La Plata ene./dic. 1999

 

AVANCES DE INVESTIGACIÓN

Método de evaluación para proyectos sociales

Sergio Labourdette(1); Mirta Gavilán (2)

Resumen
El presente instrumento formó parte del proyecto de investigación "Investigación evaluativa sobre planes y programas en salud y educación de la Provincia de Buenos Aires", correspondiente a la cátedra de Psicología Preventiva de la carrera de Psicología de la Facultad de Humanidades y Ciencias de la Educación de la Universidad Nacional de la Plata (Argentina).
La propuesta de un instrumento de evaluación se fundamenta en la necesidad método análisis, de contar con un método que permita el análisis, la sistematización de conocimientos y la adjudicación de valores distribuidos en escalas y organizados en cuadros generales, acerca de programas sociales; esta propuesta centra especialmente en el análisis de programas y proyectos de salud y educación, circunscriptos a ciertas áreas o regiones especificas, buscando so Ivencia teórica, rigor metodológico y operatividad pragmática. Es el resultado de cuatro años de investigación de dichos programas a nivel del sistema, de los servicios y de la comunidad.

Palabras clave: Método; Evaluación; Proyectos; Sociales

El presente instrumento de evaluación se elaboró en el marco del proyecto "Investigación evaluativa sobre planes y programas en Salud y Educación en la provincia de Buenos Aires", correspondiente al programa de incentivos a la investigación que dirige la Secretaría de Ciencia y Técnica de la Universidad Nacional de La Plata y se inscribe en las actividades que desarrolla la Cátedra de Psicología Preventiva de la Facultad de Humanidades y Ciencias de la Educación de la misma Universidad. Este método se fue construyendo durante los cuatro años que duró el proyecto, mediante prueba, ensayo, error y corrección, hasta alcanzar cierto grado de congruencia, consistencia y efectividad.
La propuesta de un instrumento de evaluación se fundamenta en la necesidad de contar con un método que permita el análisis, la sistematización de conocimientos y la adjudicación de valores, distribuidos en escalas y organizados en cuadros generales, acerca de programas sociales, especialmente en salud y educación, y circunscriptos a ciertas áreas o regiones específicas. No es que no existan métodos de evaluación. Hemos visto muchos, probados y algunos buenos en particular. Aún así, hemos considerado que hace falta una reformulación en términos de la utilización de instrumentos evaluativos. Pues lo visto hasta el presente ofrece, además de interesantes propuestas e interrogaciones, un cúmulo excesivo de planteos, puntos de vista, desagregaciones categoriales, complejidades técnicas y multiplicidad de orientaciones, que hacen extremadamente difícil realizar las evaluaciones con solvencia teórica, rigor metodológico y operatividad pragmática. Es decir, se considera necesario, por no decir imprescindible, depurar material excesivo, ajustar el objetivo, replantear el sustento teórico y poner a punto técnicas y métodos que permitan llegar a los centros neurálgicos de lo que se quiere evaluar. Y también, que eviten las dispersiones y los movimientos erráticos de tanta propuesta a la vista.
Este enfoque particular nos ha llevado a tomar varias decisiones concurrentes que hacen a la construcción de un instrumento de evaluación que tenga mayor capacidad de buscar lo que se quiere buscar, agrupar, sistematizar, concluir y recomendar con solvencia, concisión y practicidad. La primera decisión se refiere a establecer una metodología de carácter estratégico que seleccione criterios y operaciones adecuados al material que se pretende evaluar. Esta decisión sostiene un principio de selección estratégico y un conjunto de procedimientos altamente reducidos y sistematizados que permiten dirigirse hacia el centro de operaciones, sin desvíos y complicaciones inútiles, en busca de la información necesaria para efectuar la evaluación. Esta dirección operativa asegura mejores condiciones de validez, confiabilidad, accesibilidad, practicidad, efectividad y eficiencia en la evaluación de programas sociales.
La segunda decisión se refiere al establecimiento de un recorrido riguroso por los marcos teóricos expuestos y utilizados por distintos autores, investigadores y evaluadores en el diseño de programas de evaluación; y especialmente cuando se concentran en áreas de salud y educación, y cuando se tienen en cuenta las especificidades de las regiones consideradas. Este conocimiento del estado del arte en cuestiones de evaluación permite conocer lo hecho sin duplicar esfuerzos ni descubrir lo descubierto.
La tercera decisión se refiere a la utilización deliberada de elementos y experiencias extraídos de los propios programas sociales analizados, de sus operaciones, de sus conducciones y de la propia comunidad receptora. Es decir, las evaluaciones, sus objetos, sus productos, sus actores y sus receptores terminan siendo parte activa no sólo de las evaluaciones sino también de la construcción de instrumentos más aptos para evaluar en el futuro, superando las limitaciones exhibidas por el instrumental válido hasta ese entonces.
La cuarta decisión se refiere a establecer estructuras y procesos conceptuales abiertos, flexibles, críticos y contingentes, que permitan corregir, agregar y rechazar todo lo que sea necesario en el mismo uso y perfeccionamiento del instrumento. De manera que esta propuesta se considera sólo una mejor aproximación a la problemática de evaluar programas sociales, especialmente de ciertas características y en ciertas áreas y regiones. Propuesta que, lejos de cerrar el proceso de construcción metodológica y técnica, atiende a todas las pruebas y las modificaciones que el trabajo de campo va generando en el curso de las evaluaciones.
En consecuencia, el instrumento de evaluación propuesto, abierto y per fectible, consta de un conjunto de criterios que orientarán la tarea, y que dará lugar a la construcción de sus respectivos indicadores (e índices), y a la conformación de un ordenamiento escalar que termine en un cuadro general de síntesis. Estos elementos y niveles de análisis permitirán un mejor y más ajustado acercamiento en el proceso evaluativo de los programas sociales en salud y educación de la Provincia de Buenos Aires y, finalmente, la puesta a prueba del instrumental construido, de sus alcances, y de las posibilidades de transferencias y replicaciones en otros trabajos y en otros ámbitos.
Veamos cada uno de estos criterios y su síntesis final:

1° CRITERIO
Responde al problema de qué se propone hacer y lograr el programa social a evaluar. Aquí hay que responder a los siguientes ítems:
•  cuál es el tema. A qué se refiere.
•  los objetivos. A dónde quiere arribar.
•  solución de necesidades. A qué necesidades responde.
•  importancia y relevancia social de las soluciones teniendo en cuenta esas necesidades. 

2° CRITERIO
Responde al problema del cómo hacerlo. Cuáles son los conjuntos de procedimientos y actuaciones que pretenden alcanzar los objetivos buscados. Aquí hay que considerar los siguientes ítems:
•  listado de actividades y acciones
•  ensayo de alguna tipología de acciones
•  análisis de tres niveles de actuaciones:
•  sistema
•  ejecutores
•  efectores
•  análisis de la pertinencia de las acciones respecto del punto anterior (1° criterio).
•  participación de la comunidad. Grados, compromiso, organización.

3° CRITERIO
Responde al problema de los recursos con que cuenta el programa para realizar las actuaciones y alcanzar los objetivos.
•  cantidad, calidad y disponibilidad de los insumos.
•  relación de costo-beneficio: eficiencia. Rentabilidad económica.
•  relación entre acciones-recursos. Rentabilidad social.

4° CRITERIO
Responde a las instancias de poder con que cuenta el programa o que debe sortear.
•  conducción / equipo
•  capacidad
•  formación
•  dedicación
•  apoyo político
•  continuidad de los elencos y del programa
•  problemas en la línea - discontinuidades
•  legitimidad - consenso - apoyo comunitario e institucional
•  instituciones involucradas. 

5° CRITERIO
Responde al problema de la articulación y congruencia entre los puntos anteriores y los problemas reales de la comunidad receptora.
•  coherencia interna de los puntos del programa. Grado de articulación.
•  análisis posible de los problemas y requerimientos de la comunidad receptora
•  realizados por el programa
•  realizados por otras instituciones
•  ensamble entre los puntos (a) y (b). Congruencia externa.

6° CRITERIO
Responde al problema del tiempo que demandará la realización del programa, del tiempo que se dispone y del tiempo que se pierde. Esta pregunta responde al cuándo.
•  tiempo de programación - tiempo de ejecución
•  tiempo necesario y tiempo variable
•  etapa en que se encuentra el programa
•  tiempo y recursos
•  tiempo y política

7° CRITERIO
Responde al problema del dónde; desde dónde se realiza el trabajo. Para ello hay que tener en cuenta estos ítems:
•  lugar de trabajo
•  variaciones y cambios según las etapas y los cursos de acción
•  infraestructura disponible

8° CRITERIO
Responde al problema de los resultados de la aplicación del programa. Aquí i - se miden cuáles son los efectos de las actividades programadas. Aquí se evalúan los productos reales del desarrollo programático. En realidad, todo el ajuste de los puntos anteriores confluye en los resultados logrados.
•  cambios en la comunidad receptora
•  cambios en los tres niveles: sistema - ejecutores - electores.
•  relación costo-resultado. Eficacia.
•  resultados inesperados, no previstos. Evaluación de impacto.

9° CRITERIO
Se refiere a los principales problemas específicos detectados que funcionan como obstáculos en la realización de los programas. Aquí se focalizan y se extraen problemas detectados en el análisis de los anteriores criterios. Veamos estos ítems:
•  debilidades del programa y puntos débiles de la aplicación
•  dificultades
•  detectadas en la línea
•  detectadas en la comunidad
•  detectadas en la política
•  análisis de estrategias adversas. Ataques al programa, a la conducción, a la línea.

10° CRITERIO

Se refiere al análisis de los sistemas de registros de datos y de información que el programa porta. Se advierte una extrema debilidad en la utilización de estos sistemas, siendo no obstante claves para el desempeño del programa en curso. Los ítems son:
•  sistemas utilizados para recoger datos
•  matrices, bases, códigos, etc.
•  uso y manejo de la información

11° CRITERIO

Se refiere al uso de los sistemas de comunicación y se relaciona particularmente con el anterior. Sin embargo, se advierte que puede haber, registros sin bases. comunicacionales. Esta debilidad no sólo dificulta el proceso interno del curso programático sino también las transferencias hacia otras instituciones. Los ítems son:
•  feed-back en la línea. Sistema de retroalimentación
•  capacidad de intercambio de información
•  instituciones que intercomunican, ruido, colapso.

12° CRITERIO
Se refiere al análisis de las disposiciones legales específicas y generales que funcionan como el marco jurídico en el que se desenvuelve el programa. Además, tiene en cuenta las reglamentaciones de carácter burocrático y todo otro tipo de formalización legal.
•  marco jurídico-legal
•  reglamentaciones institucionales
•  cultura burocrática-administrativa 

13° CRITERIO
Se refiere a los factores de carácter cultural que afectan la marcha del programa, en pro como en contra. Las subculturas de la comunidad receptora, las etnias, razas, etc. que intervienen como marco y como estrategias operantes.
•  cultura y subculturas
•  etnias, razas, otros.
•  movimientos socioculturales
•  culturas institucionales

14° CRITERIO
Se propone como un ordenador ponderado del conjunto de criterios anteriormente mencionados. Los respectivos indicadores y sus valores, estratégicamente ponderados, desagregan la información, la articulan y producen un resultado final. Agrupando series de programas según las búsquedas evaluativas o al conjunto mayor, para demostrar la efectividad de políticas públicas y privadas en materia social, se obtienen- evaluaciones de proceso, de resultado y de impacto de mayor relevancia. Además, estos cuadros permiten realizar análisis comparativos entre programas y grupos de programas. Y también, permiten transferir información hacia los organismos de toma de decisiones, otras instituciones y la propia comunidad, principal interesada en la suerte o fracaso de estos emprendimientos de carácter social. A modo de ejemplo se presentan dos cuadros de los criterios 1 y 2, con sus respectivos y posibles indicadores y puntajes. El valor total posible a alcanzar indica la importancia relativa de cada criterio respecto del conjunto. Se toma una ponderación posible a modo de ejemplo, pero se advierte que se encuentra sujeta a variaciones de acuerdo con las características de los programas sociales a analizar y evaluar. Aquí alcanzarían un tope de 34 para el primer criterio y de 60 para el segundo. Están señalando la importancia relativa del diagnóstico de necesidades, de las soluciones y de los procedimientos programados y/o ejecutados para alcanzar esos fines. El resto de los criterios es susceptible de construir distintas ponderaciones de acuerdo con la concepción del equipo evaluador. (Ver cuadros de Criterio 1 y de Criterio 2).
El cuadro general presenta 13 criterios considerados indispensables para lograr una evaluación total de cada programa. Luego, se excluye el mismo criterio 14 y, por supuesto, el 15, dado que este último se refiere a la presentación de los resultados finales y a sus sugerencias y recomendaciones. (Ver cuadro general).

15° CRITERIO
Se refiere al análisis y elaboración de la información recogida. Evaluación e interpretación de los resultados, especialmente a la luz del cuadro general anterior. Formulación de conclusiones. Propuestas y recomendaciones. Transferencias hacia otros campos. Sugerencias y opciones. Elaboración y entrega de los informes de evaluación en distintos formatos, según exigencias de acuerdos previos, necesidades presentes y a futuro, y resultados encontrados.

Criterio 1. Indicadores

 

Criterio 2. Indicadores

Nota: Los indicadores numéricos de cada uno de los cuatro grupos son excluyentes entre sí, es decir, por ejemplo, no se puede sumar "actividades que alcanzaron el objetivo" y "alcanzaron parcialmente el objetivo", pues hay que optar.

Criterio 14. Cuadro general

Notas

1. Dr. en Ciencias Políticas, Licenciado en Sociología, Investigador del Consejo Nacional de Investigación Científica y Tecnológica (CONICET), Argentina. Profesor Titular de Grado y Doctorado en varias universidades.

2. Licenciada en Psicología y Servicio Social. Profesora Titular de la Cátedra de Orientación Vocacional -Ocupacional y Psicología Preventiva de la Carrera de Psicología, Directora del Área de Orientación racional de la Universidad Nacional de la Plata (Argentina).

Bibliografía

1. BARRONT, A. Apoyo Social.: Aspectos teóricos y Aplicaciones. Editorial Siglo XXI. Madrid. 1988.         [ Links ]

2. CARDARELLI, R.: La participación al borde de un ataque de nervios. UNICEF Argentina. Buenos Aires, 1991.         [ Links ]

3. COHEN y NAGEL.: Introducción a la Lógica y al Método Científico. Edit. Amorrrtu. Buenos Aires. 1968.         [ Links ]

4. ESPINOZA VERGARA, M.: Evaluación de Proyectos Sociales. Edit. Humanitas. Buenos Aires. 1988.         [ Links ]

5. FONTÁN, M.: Reflexiones acerca de la Evaluación de los Programas Sociales. Mimen. UNICEF. Buenos Aires. 1989.         [ Links ]

6. FUNDACIÓN BERNARD VAN LEER.: La Haya , Holanda. Cuarto Seminario del Hemisferio Occidental. Síntesis y Conclusiones. Lima, Perú. Mayo 1986.         [ Links ]

7. GAVILÁN, M.: Evaluación de Programas Preventivos. Revista Iberoamericana de Evaluación Psicológica. Año 2, N° 1. Barcelona. 1996.         [ Links ]

8. GAVILÁN, M. Orsini.: Marco Conceptual para la Evaluación de Programas Sociales. Facultad de Humanidades, II Informe de Avance. Sec. de Ciencia y Técnica - Universidad Nacional de La Plata. 1996.         [ Links ]

9. HINTZE, S. (comp.).: Políticas Sociales. Contribución al debate teórico- metodológico. CEA-CBC. Buenos Aires. 1997.         [ Links ]

10. KILKSBERG, B.: Pobreza. El drama cotidiano. Programa de las Naciones Unidas. CLAD. Editorial Tesis-Norma. Buenos Aires. 1995.         [ Links ]

11. LABOURDETTE, S.: Estrategias e Instituciones, en Gavilán M. comp.: Orientación - Trabajo - Instituciones. En imprenta. Editorial de la Universidad de La Plata. 1998.         [ Links ]

12. MARTÍN GONZÁLEZ, A.: Chacón Fuertes, F. Y Martínez González, M. Psicología Comunitaria. Editorial Textos Visor. Madrid. 1993.         [ Links ]

13. MARTINIO, S.: Sistematización de proyectos de Evaluación y Acción Social en Sectores Populares. Algunas Categorías de Análisis para la Sistematización. Talgante , Chile- 1984.         [ Links ]

14. OMS (Organización Mundial de la Salud ) Evaluación de Programas de Salud. Serie "Salud para Todos", N°6. 1981.         [ Links ]

15. PICHARDO MUÑIZ, A.: Evaluación del Impacto Social. Edit. Humanitas. Buenos Aires. julio 1993.         [ Links ]

16. PINEAULT, R; DAVELEY, C.: La Planificación Sanitaria ; conceptos, métodos y estrategias. Edit. Masson, Tercera impresión. 1994.         [ Links ]

17. PIÑA, C.: Historia de Vida y Ciencias Sociales. Revista Mexicana de Ciencias Políticas y Sociales. N ° 131. UNAM. México. 1989.         [ Links ]

18. QUINN PATTON, M.: Utilization - Focused Evaluation. California, USA. 1984.         [ Links ]

19. PASSALAQUA. E.; VILLAR, A.: La Política Social de los Municipios Argentinos: un Programa Global, en Revista de Ciencias Sociales de la Universidad Nacional de Quilmes. Noviembre 1984.         [ Links ]

20. RICHARDS, H.: La Evaluación de la Acción Cultural. CIDE (Centro de Investigación y Desarrollo de la Educación ). Santiago de Chile. 1985.         [ Links ]

21. ROBIROSA, CANDARELI.: Turbulencia- y Planificación Social. UNICEF.         [ Links ]

22. SAMAJA, J.: Epistemología y Metodología. Parte IV. "El análisis del Proceso de Investigación", Bs. as., Argentina (1933).         [ Links ]

23. TENTI FANFANI, E.: La Calidad como Problema. En la Escuela Vacía. Deberes del Estado y responsabilidades de la Sociedad. UNICEF. Losada. Buenos Aires. 1993.         [ Links ]

24. VASILACHIS DE GIALDINO, L: Métodos Cualitativos: Las Problemáticas teórico epistemológicas. Biblioteca Ciencias del Hombre. Centro Editor de América Latina. 1992.         [ Links ]