CUERPO CENTRAL 

Un marco conceptual que demuestra el valor de los servicios de orientación 

Bryan Hiebert

Profesor Emérito, Facultad de Educación, Universidad de Calgary, Canadá. E-mail: hiebert@ucalgary.ca

 

---

Resumen

Tanto profesionales como quienes tienen a su cargo diferentes servicios están de acuerdo en que la evaluación es importante. Sin embargo, los orientadores rara vez evalúan su trabajo de manera de hallar una relación causal entre los servicios que los usuarios reciben y los cambios a los que acceden. Se ha desarrollado un marco teórico para evaluar los cambios en los conocimientos, habilidades, actitudes y creencias del usuario y examinar el impacto que dichos cambios han hecho en su vida y en la sociedad en la que se desenvuelve. El marco incluye también un sistema de seguimiento de las intervenciones realizadas y de los recursos necesarios para poder implementar exitosamente estas acciones. Ha sido empleado en diversas situaciones orientadoras, establecimientos educativos y acciones de orientación vocacional, con el objeto de proporcionar evidencia de que el servicio brindado realmente produce un impacto sobre la vida del usuario.

Palabras clave : Evaluación; Evaluación de orientadores; Prueba de funcionamiento; Demostración de valor.

---

 

Existen dos tendencias cada vez más relevantes en el entorno de las ciencias sociales (por ejemplo, salud mental, orientación escolar, servicios profesionales y de salud) que son: las intervenciones focalizadas en los resultados y las prácticas basadas en la evidencia. En el primer caso, el principal objetivo consiste en demostrar como los usuarios (por ejemplo los estudiantes) cambian como resultado de los servicios que reciben (programa, instrucción, etc.). La finalidad de las prácticas basadas en la evidencia se vincula mas bien a responder qué tipo de intervenciones serían las más acertadas, bajo qué circunstancias funcionarían mejor, con qué tipo de población y apuntando a qué logros. Cuando estas dos tendencias se aplican correctamente, los profesionales (maestros, orientadores, trabajadores sociales, asesores profesionales, etc.) pueden proporcionar evidencia convincente que vincula los cambios del estudiante (usuario) con el programa (intervención) al cual se ha incorporado. (Baudouin, et al., 2007.).

A pesar de que estas dos tendencias se destacan en las organizaciones profesionales (Dozois, 2011) y son consideradas valiosas por patrocinadores (HRSDC, 2011)(1), en general los orientadores no evalúan su trabajo. Por ejemplo, una encuesta realizada a 1000 profesionales que brindaban servicios en el campo de orientación y empleo (Conger, Hiebert, & Hong-Farrell, 1993) indicaba que el 40% de esa población admitía no haber realizado nunca una evaluación de su tarea, y el 35% restante decía que examinaba su efectividad durante la entrevista con el usuario (posiblemente preguntándole si la sesión le resultaba de ayuda). En un estudio más reciente acerca de prácticas de evaluación ( Lalande & Magnusson, 2007) un tercio de los participantes no respondieron a la pregunta vinculada a su modalidad de evaluación, y si bien el 35% expresaba que recababa datos de sus consultas, estos datos se referían a temas como el flujo de consultas, el tipo de problemáticas que presentaban, el uso del tiempo del consultor, todos datos éstos que no apuntan a evaluar qué y cuánto han podido modificar los destinatarios como resultado del servicio. Estos dos estudios muestran un panorama de cómo son las prácticas de evaluación en Canadá, no obstante diversos aportes de conferencias internacionales sugieren que la situación es similar en otros países.

Para reunir datos que apunten tanto a lo concerniente a la práctica basada en la evidencia, como a las intervenciones focalizadas en resultados, el Grupo de Investigación Canadiense de Práctica basada en la Evidencia para el Desarrollo de Carreras (CRWG)(2) ha adoptado un marco teórico sencillo, basado en:

Ingreso -- Proceso -- Resultado.

Este marco se ilustra en la Figura 1 y se describe brevemente un poco más adelante. Ha sido utilizado para evaluar intervenciones de desarrollo profesional, pero también es adecuado en otros tipos de acciones orientadoras, en programas de salud mental y física, en establecimientos educativos y otros servicios. (Hiebert & Charles, 2008; Hiebert, Domene, & Buchanan, 2011). Para facilitar la lectura yo he usado el término usuario/destinatario al referirme a aquellos que reciben el servicio, pero también podría haber empleado palabras como: aprendiz, estudiante o paciente. De forma similar, usé el término profesional para referirme a quienes proveen un servicio y podría haber dicho: asesor, maestro, trabajador social, enfermera, orientador o médico. Es decir, aunque yo utilicé los términos usuario y profesional, aliento a los lectores a sustituirlo por el que les parezca más apropiado para el área laboral que los ocupa.

Figura 1: Plan de Intervención y Marco Teórico para su Evaluación

El marco teórico creado por el CRWG se ha desarrollado centrándose en las necesidades y logros de los usuarios. Para planificar una intervención adecuada, es importante examinar el contexto en el que éste se desenvuelve. Dicho contexto incluye: etnia, cultura, los otros significativos, la distribución de oportunidades, la historia de sus aprendizajes, los antecedentes previos a la situación de evaluación, etc. El contexto puede limitar, o por el contrario facilitar las posibles intervenciones. Puede influenciar sobre el éxito de un programa y sobre cuales son las expectativas razonables de resultados. En el proceso de examinar el contexto se podrán identificar las necesidades del usuario, así como establecer metas explícitas para ir trabajando en conjunto. El enfoque para realizar una intervención y su evaluación, se basa en profesionales y usuarios trabajando conjuntamente en una relación de colaboración mutua, donde los objetivos, las expectativas de resultados y los indicadores de éxito son acordados por ambas partes, y si corresponde, por los terceros interesados. Una vez que se han establecido las metas, que se ha planificado la intervención (¿cómo alcanzaremos esas metas?) y la evaluación (¿cómo demostraremos el cumplimiento de los objetivos?), se puede comenzar.

La construcción de un plan de intervención y evaluación comienza por identificar los tipos de cambio que el destinatario (si hay suerte) experimentará como resultado de dicha intervención, y desarrollar luego un método para documentar los cambios que efectivamente hayan tenido lugar (o sea, identificar los indicadores de cambio). Una metáfora útil puede ser imaginarnos un viaje por ruta. El viaje comienza al conocer el destino al que queremos llegar, y una vez que eso está claro, podremos planificar el camino a seguir. A veces en cambio, se disfruta sólo dando una vuelta en auto por el campo, sin tener en mente un punto de llegada particular. En esos casos, el placer de conducir por la ruta es el objetivo principal. Sin embargo, si los viajeros quieren llegar a un lugar en especial, entonces será importante acordar cual será ese punto de llegada antes de comenzar el viaje. Por lo tanto, el punto de partida en la planificación de las intervenciones es tener claro que resultados se buscan y cuales serán los indicadores de éxito que se utilizarán para evaluar el progreso y la llegada a la meta final.

Resultados

Un resultado es el efecto específico de una intervención que incluye cambios en las competencias del destinatario (conocimiento y habilidades), cambios en sus características personales (optimismo, confianza, etc.), cambios en su situación (nivel de empleo, estado de salud, etc.) y/o para su comunidad (menos violencia, mejor calidad de vida, etc.). Podemos entonces considerar los resultados, como el impacto que los cambios en las competencias o en los atributos personales han producido sobre el usuario. Los cambios en las competencias y conocimientos (resultados del aprendizaje) se describen como directamente vinculados a la intervención realizada. Los resultados concernientes a los atributos personales no se consideran generalmente tan ligados a una intervención, sin embargo con frecuencia son los subproductos que acompañan las nuevas habilidades que el destinatario obtuvo. Por ejemplo, un descubrimiento que ha surgido de una investigación reciente (Hiebert, et al., 2012), muestra que como efecto de la obtención de nuevas destrezas laborales, los usuarios son más optimistas sobre su futuro profesional. El logro del objetivo final de una intervención, con frecuencia incluye algún tipo de cambio en la vida del destinatario o en su contexto social más amplio (impacto del resultado). Por ejemplo, los usuarios aprenden el importante rol que juega la relajación profunda para combatir el estrés (conocimiento), y con práctica pueden también aprender como ubicar el cuerpo para alcanzar esa relajación profunda (habilidad). Utilizando ese conocimiento y poniendo en práctica dicha habilidad, es probable que disminuya su estrés (atributo personal), lo que además puede dar lugar a menos dolores de cabeza (impacto), menos conflictos interpersonales (impacto), menos ausencias a su trabajo (impacto). Del mismo modo, alguien que participa en un taller para control de la ira puede adquirir conocimientos y habilidades para el manejo de sus propios enojos, y como resultado puede sentirse menos irritado, puede tener menos explosiones de rabia en su hogar, o menos conductas abusivas, o menos discusiones con sus compañeros de trabajo.

Autoevaluaciones de resultados con estudiantes

Mis colegas y yo hemos estado trabajando en el CRWG (pueden ver la página web: http://www.crwg-gdrc.ca ) para hallar una manera de evaluar los cambios en las competencias de estudiantes (conocimiento, habilidades y características personales) con un alto grado de validez y confiabilidad y que además se ajuste de manera precisa a los resultados de una intervención. Uno de los problemas que presenta el enfoque tradicional de realizar una evaluación antes de la intervención, y otra después para señalar la presencia de cambios, consiste en que la gente no sabe aquello que no sabe. Para ilustrar, supongamos que se le solicita a un grupo que participa en un taller sobre comunicación interpersonal, que evalúe sus habilidades de comunicación cuando la actividad comienza. Inicialmente pueden considerar que sus habilidades de comunicación son razonablemente buenas y se califican con un puntaje bastante alto. Durante el desarrollo del taller van aprendiendo más acerca de lo que constituye realmente una comunicación interpersonal y se dan cuenta que tanto su conocimiento, como su habilidad de comunicarse efectivamente, no son tan buenas como pensaban. Cuando el taller termina se les solicita nuevamente que evalúen su competencia comunicacional y los resultados a menudo son más bajos que al principio, aún cuando han aprendido mucho y han adquirido nuevas habilidades. Esto se debe a que, al aumentar su conocimiento sobre el tema, cambió su punto de referencia. Por lo tanto, los puntajes de las pruebas posteriores al taller suelen ser más bajos que los realizados previamente, aún cuando se produjo un cambio positivo. (Hiebert, 2012; Posavac, 2011; Robinson & Doueck, 1994).

Una manera de manejar este problema es a través de una evaluación retrospectiva a la que hemos llamado Evaluación post-pre3. Este procedimiento ha sido descripto en detalle en otra publicación (Hiebert, 2012), por lo tanto voy a resumirlo brevemente a continuación. Se utiliza solamente al finalizar el taller, y se solicita a los participantes que acuerden un marco de referencia para autoevaluar su competencia antes y después de concurrir al taller. Por ejemplo, en los talleres de entrenamiento para tutores, cuando la actividad finaliza, se pregunta: "considerando el taller en el que recién has participado, y sabiendo lo que ahora sabes sobre conversar con otros estudiantes sobre racismo y diversidad, ¿cómo evaluarías tu preparación para desempeñarte como tutor antes de concurrir al taller? y ¿cómo te calificarías ahora ? La autoevaluación es realizada sólo al finalizar el taller (de ahí su nombre evaluación post-pre), pero solicita a los participantes que auto-examinen su competencia antes y después de concurrir al taller, usando el mismo marco de referencia, en este caso por ejemplo, "sabiendo lo que ahora sabes sobre conversar con otros estudiantes sobre racismo y diversidad …"

Para estas autoevaluaciones utilizamos una variación de la Escala de Likert de 5 puntos, a la que llamamos Enfoque de Toma de Decisiones (ya que no se trata de emitir un juicio de valor). Les solicitamos a los participantes en primer lugar que decidan si su conocimiento, competencias y características personales son buenas o no (Aceptables o No Aceptables, Adecuadas o Inadecuadas, Suficientes o Insuficientes, etc.). Una vez que lo han decidido, les pedimos que se adjudiquen un puntaje como sigue:

0 = inadecuado

1 = no del todo adecuado, casi bueno

2 = apenas adecuado

4 = excepcional

3 = entre apenas adecuado y excepcional.

El orden de los puntajes es deliberado, ya que más que solicitar que califiquen aceptable como 2, 3 o 4, se pregunta si su desempeño es apenas adecuado (2), excepcional (4), o en algún lugar entre los dos (entre apenas adecuado y excepcional (3). Utilizando este enfoque hemos hallado por ensayo y error que existe un alto grado de confiabilidad inter e intra evaluador. El alto grado de validez proviene de incluir en la encuesta aquellos ítems que se relacionan con los objetivos de aprendizaje establecidos para el taller.

Resultados y productos . En el trabajo realizado en el CRWG, diferenciamos resultados de productos. Reservamos el término resultados para referirnos a los cambios que experimentan los usuarios. En cambio, utilizamos la palabra productos para aquello que se realiza o se produce durante una intervención. Por lo tanto serán considerados productos un currículum, una carta de presentación, un portfolio, que se generan por ejemplo, como parte de un taller de búsqueda de empleo. No son resultados porque no implican cambios en el destinatario. De igual modo, son productos los registros de horas/hombre, o las listas de pendientes que se elaboran durante un taller de gerenciamiento para ayudar a la gente a manejar mejor su tiempo o a concluir eficientemente sus tareas (esos serían los resultados).

Resultados sobre los atributos personales . Estos resultados incluyen efectos sobre: actitudes (como la creencia de que el cambio es posible), factores intrapersonales (confianza, motivación, autoestima), e independencia (iniciativa propia, autonomía de recursos). Existe un debate entre considerar los cambios resultantes sobre las características personales como efectos directos del aprendizaje, o no. Mas que entrar a debatir sobre este tema, nosotros los hemos identificado como dos categorías de resultados, concientes de que habrá quienes los vean como efectos del aprendizaje y quienes no. A veces estos efectos sobre los atributos personales se conocen como "precursores" (Hiebert, 1994: Killeen, White, & Watts, 1993; Maguire & Killeen, 2003), porque median entre el acceso al conocimiento o la adquisición de habilidades y el impacto producido sobre su vida. Nos referimos a la buena disposición (o capacidad) del usuario para poner el aprendizaje en acción. Hay un acuerdo generalizado respecto a la importancia de estas características personales, incluso puede resultar muy difícil obtener el impacto deseado sin contar con ellas. Sugerimos que se identifiquen este tipo de efectos sobre los usuarios y se aborden desde métodos confiables, ya que serán necesarios para evaluar estas variables.

En una investigación nacional de prácticas de evaluación (ver Lalande & Magnusson, 2007: Magnusson & Lalande, 2005) a los participantes les resultaba muy difícil identificar cuáles eran los resultados de los servicios prestados. Por ejemplo, muchos encuestados indicaban que por medio de una intervención de "trabajo en red" se lograban los siguientes resultados: "construir y sostener una imagen personal positiva", "cambios y crecimiento a lo largo de la vida", "mantener un equilibrio entre la vida y el trabajo". Es evidente que la relación entre mostrar la importancia del trabajo en red, enseñar a un usuario a desarrollar una red, y el resultado de "construir una imagen positiva de sí", es en el mejor de los casos, bastante tenue. Además, sospechamos que algunas entidades se sentirían muy complacidas mostrándose responsables de un efecto como "la construcción de una imagen positiva de sí", como resultado de un taller sobre desarrollo de redes. Este descubrimiento es uno de los factores que nos llevó a reservar el término resultado para referirnos al cambio en el usuario, y para describir el conocimiento y habilidades de una manera que los vincule más directamente a una intervención. Sospechamos que para rectificar esta situación, será necesario un ampliar la capacidad del personal involucrado.

Figura 2 : Historias de Trabajo de Campo: ¿qué es un Resultado?

Acerca del impacto. El impacto es el efecto indirecto derivado o bien de los resultados del aprendizaje, o de los efectos de la intervención sobre las características personales. El impacto es el resultado final esperado de la intervención. Entidades y patrocinadores deben participar para acordar cuales son las expectativas de impacto razonables. Por ejemplo, los niños que son violentos en la escuela, posiblemente vivan en hogares donde la violencia es una manera habitual de resolver desacuerdos. Por lo tanto, sería útil trabajar con los padres (o contar con una organización de referencia que trabaje con los padres) con el objeto de lograr menos actos de violencia en el patio de la escuela. Otro ejemplo: en épocas de bajo desempleo, o en zonas geográficas con un mercado laboral fuerte, sería razonable esperar tasas altas de ocupación después de participar en un programa de búsqueda de empleo. Sin embargo, en épocas de alta desocupación no sería sensato esperar que todos aquellos que intervengan en un programa de búsqueda de empleo, concluyan efectivamente encontrando un puesto de trabajo. En áreas económicamente desfavorecidas debería haber menor movilidad laboral porque para la mayoría de la gente, cualquier empleo sería mejor que el desempleo, pero también podría darse un alto grado de malestar social, debido a aquellos que no encuentran un puesto de trabajo que les resulte personalmente significativo. En zonas de diversidad étnica y cultural, sería de utilidad implementar un programa orientado a aumentar la aceptación y disminuir la discriminación con el objeto de lograr mayor aceptación social y empleabilidad. Es importante proponerse metas realistas y el resultado final será legitimado por medio de acuerdos y negociaciones que llevarán a cabo todos los actores implicados en la prestación de servicios.

Procesos. Se trata de aquellas actividades intencionales que profesionales y destinatarios se comprometen a realizar con la expectativa de fomentar un cambio en este último. Las intervenciones incluyen interacciones entre profesionales con los usuarios o terceros, como también con quienes intervengan en el programa o prestación de servicios como apoyo para lograr los resultados buscados. Los procesos pueden agruparse en dos amplias categorías: Generales y específicas.

Intervenciones generales. Son aquellas acciones que forman parte de la mayoría de las interacciones entre profesionales y usuarios o terceros, dejando de lado la naturaleza de la problemática planteada o las metas perseguidas. Por ejemplo, se ha demostrado que establecer una fuerte alianza entre profesional y destinatario facilita el cambio. Por lo tanto, desarrollar dichas alianzas será virtualmente una parte importante en todas las intervenciones. Del mismo modo, enseñarle a un usuario a reformular un evento desafortunado y visualizarlo como una oportunidad de crecimiento, podría ser parte de muchas intervenciones y una contribución para alcanzar numerosas metas.

Intervenciones específicas. Están más focalizadas en la singularidad que las generales. Habitualmente están directamente relacionadas con logros y resultados, o con aquellas interacciones de terceros destinadas a fomentar el cambio en los usuarios.

Las intervenciones específicas pueden ser acciones directas a realizarse sobre los interesados, pero también pueden integrarse a programas o talleres. En el marco escolar, el plan de estudios y los métodos de enseñanza a utilizar constituyen las intervenciones específicas. En el campo de la orientación, son los planes de intervención para ayudar a un usuario a desplazarse desde donde se encuentra hacia donde quiere llegar en un futuro, es decir, son acciones destinadas a producir resultados.

En nuestro trabajo en el CRWG, hemos hallado de utilidad organizar los tipos de programas y servicios ofrecidos en categorías, de acuerdo a la problemática considerada. Sugerimos entonces utilizar las temáticas o problemáticas (por ejemplo, elección de carera, control de ira, etc.) como organizadores, en lugar del tipo de intervención (como serían taller o consulta individual). La temática de una intervención está directamente vinculada al tipo de cambio que se busca en el interesado. El uso de este sistema de organización por temática permite abordar las problemáticas en programas u otros servicios en una variedad de modalidades, por ejemplo, asesoramiento, enseñanza, talleres, orientación, y también le ofrece al interesado diferentes opciones, como consulta grupal o individual, tomar clases o participar en reuniones de autoayuda. Para decidir como implementar las intervenciones se pondrán en juego las tareas de la institución u organización, la competencia y experiencia del equipo profesional y los estilos de aprendizaje de los usuarios.

Basándonos en informes de campo y en la encuesta nacional ya mencionada, se desarrolló el un marco teórico para organizar los tipos de intervenciones específicas que se utilizan para iniciar y/o sostener los cambios producidos en los destinatarios de orientación profesional. Se utilizan cuatro categorías (elección de carrera – capacitación en habilidades específicas – búsqueda de empleo y mantenimiento de empleo) que constituyen las intervenciones típicas. Asimismo existe una quinta categoría (desarrollo de personal) que se refiere a las características personales, vinculadas al empleo o la empleabilidad. Aunque la mayoría de las agencias que ofrecen servicios de orientación profesional no incluyen asesoramiento personal, en caso de que se presente un problema personal, como podría ser falta de confianza en sí mismo, que afecta la capacidad profesional, es importante contar con los recursos para abordar este tema como parte del servicio prestado. Una sexta categoría (otros) sirve para tomar conocimiento de que una parte importante y legítima de proveer servicios integrales de orientación profesional, es ser capaz de detectar cuando alguien necesita una derivación, por ejemplo, a un programa de desintoxicación, antes de comenzar una búsqueda concreta de empleo. A la mayoría de las entidades les resultará de utilidad desarrollar una forma similar de organización y/o clasificación de las intervenciones y servicios que proveen.

Figura 3 : Historias de trabajos campo: una Muestra del Sistema de Clasificación

El paso siguiente al desarrollar un plan integral de evaluación, será registrar los resultados logrados durante las intervenciones. Los organismos deben tener muy en claro su responsabilidad en los resultados que buscan, e identificar que características de los programas o servicios que ofrecen son los indicados para producir esos cambios. A veces, incluso una actividad divertida deberá retirarse de un programa o taller, si no apunta a ninguno de los resultados esperados. Por otra parte, dicho registro puede revelar que el resultado deseado no puede abordarse por medio de los procesos utilizados en esa intervención. En esos casos será necesario revisar la lista de resultados y retirar alguno de ellos, o deberá analizarse la intervención para que apunte más directamente a la meta. El registro deberá ser muy detallado y probablemente específicamente elaborado para cada programa u organismo en particular. Por lo tanto, utilizar un sistema común de clasificación para identificar resultados e intervenciones ayudará a encontrar que resultados pueden esperarse del servicio proporcionado. Es importante señalar que ambos registros, los de resultados y los de indicadores de cambio son solidarios: se trata de evaluadores y profesionales trabajando en forma conjunta para llegar a un acuerdo respecto a resultados, intervenciones e indicadores de logros que son relevantes para el programa a evaluar.

Este enfoque es considerablemente diferente del programa tradicional para evaluación de prácticas profesionales, en los cuales un referente externo que se considera objetivo, es contratado para juzgar la efectividad de un programa.

La idea subyacente del enfoque propuesto en este artículo es que los datos de evaluación realmente útiles, o sea aquellos que pueden contribuir a mejorar la calidad de los programas, provienen de quienes ofrecen el servicio. De esta forma, desde el principio se identifican los resultados (destino del servicio), se desarrollan los indicadores de progreso y se genera la intervención; además se crean los mecanismos adecuados de seguimiento que proporcionarán la evidencia del buen funcionamiento del programa y mostrarán que los usuarios van en camino a la meta final, que se ha identificado previamente. La Asociación de Desarrollo y Supervisión Curricular llama a este enfoque "Diseño curricular en reversa" (Wiggins & McTighe, 2005). En principio se define claramente el punto de llegada, para luego desarrollar los procesos y los indicadores de progreso.

Cumplimiento de la planificación de la intervención. Una parte importante en las prácticas basadas en la evidencia incluye documentar los procesos, tanto del proveedor de servicios como del destinatario, como así también de los terceros que pudieran influir en el logro de resultados. Para poder asegurar que una intervención ha obtenido resultados sobre un destinatario, debemos tener la certeza de que ambas partes han respetado la planificación de la intervención. Hay muchos ejemplos en nuestro campo donde una intervención parece ineficaz, pero un análisis más minucioso revela que la dificultad reside en que en realidad, no se ha respetado la planificación.

Aportes. Los organismos o entidades cuentan con recursos y capacidades básicas para ofrecer servicios de calidad. Igualmente algunas intervenciones requieren recursos muy específicos, y a veces únicos, para llevar a cabo adecuadamente una intervención. El objetivo final de la evaluación y planificación de servicios reside en poder vincular los cambios que experimentan los destinatarios, tanto con los servicios como con los recursos. Recíprocamente, si una organización cuenta con determinados recursos, puede ofrecer ciertos servicios, los que a su vez producirán los correspondientes cambios en los destinatarios. Por lo tanto, es importante realizar un seguimiento de los recursos utilizados, incluyendo factores tales como: financiación (presupuesto, garantías); personal (cantidad, competencias y su nivel de formación); guías de servicios (alcance y requisitos financieros de la entidad), infraestructura (instalaciones, personal de apoyo, consultores) y recursos de la comunidad (otros profesionales, voluntarios, bibliotecas, cibercafés). Una vez identificados los recursos básicos, es posible utilizar esa información y mantener esos mismos recursos, o incrementarlos para proveer nuevos servicios.

Calidad del servicio. La calidad del servicio no se vincula directamente con los resultados que obtiene el usuario, y por lo tanto no se incluye en el marco teórico de evaluación descripto en este texto. Sin embargo es un factor importante, ya que tiene efectos sobre la operatoria general de las organizaciones. Sabemos que quien recibe un trato grosero en la recepción, o se siente rechazado por el coordinador de grupo, difícilmente obtenga un resultado óptimo, aún en un muy buen programa. Por lo tanto, hay una serie de factores a considerar en relación con la calidad del servicio como: la satisfacción del usuario, la relación del usuario con la entidad, la satisfacción del empleador (este podría ser un impacto resultante de una intervención de búsqueda de estabilidad laboral), el grado de utilización del servicio, la cantidad de usuarios atendidos, los tipos de problemáticas abordadas, el número de consultas realizadas, el tiempo de espera para recibir el servicio solicitado, la cantidad de interesados en el servicio, el prestigio de la entidad, su capacidad para recaudar fondos, etc. A pesar de que estos factores suelen percibirse como resultados, no son indicadores de cambio per se, y por lo tanto sugerimos que sean considerados separadamente de la planificación de la intervención y de la evaluación de sus resultados. También sugerimos que entidades y patrocinadores consideren el cambio de los destinatarios, como el factor relevante al pensar en la calidad del servicio. En última instancia, reducir la lista de espera o aumentar la cantidad de consultas, no será realmente útil si los servicios prestados no producen el cambio esperado en el destinatario.

Síntesis y Conclusiones.

Comúnmente los profesionales rechazan los programas evaluadores. Esta actitud negativa proviene de ciertas creencias, por ejemplo: las evaluaciones inhiben la creatividad, son formas ocultas para terminar con los programas, nuestra intervención es ejemplar y no necesita ser examinada, las percepciones del personal son más valiosas que cualquier dato provisto por una evaluación (Posavac, 2011). Tenemos la tendencia a relacionar las evaluaciones con creencias, valores o supuestas amenazas que siguen el modelo de la Psicología del Trabajo (Blustein, 2006). Las tres condiciones centrales de la Psicología del Trabajo son acceder a la subsistencia, la sociabilidad y la autonomía. Los trabajadores tienden a estar satisfechos en sus puestos cuando se cumplen estas tres condiciones. El objetivo en la creación de una psicología positiva de la evaluación es asegurar que dichas condiciones se cumplan adecuadamente. El enfoque desarrollado en este artículo puede proporcionar una base sólida para generar una Psicología positiva de la Evaluación. Un estudio actualmente en ejecución apoya esta premisa. Se trata de un proyecto en el que participaron siete profesionales de primera línea integrados en un programa de capacitación para tutores. Inicialmente pensaban que la evaluación estaba dirigida principalmente a descubrir sus errores en el programa. Sin embargo, después de trabajar con el marco teórico desarrollado en este trabajo, comenzaron a aceptar el proceso evaluador y a considerarlo como una herramienta útil, que podía aclarar los objetivos de su tarea y hacerla más eficaz. Al adoptar una actitud colaboradora frente a la evaluación, se dieron cuenta que podían reaccionar mejor frente a dicho proceso. Se les solicitó que mencionaran qué se destacaba en el enfoque evaluador utilizado, y los temas predominantes fueron la actitud colaboradora y el estilo comunicacional propuesto. También expresaron que el proceso evaluador los había ayudado a comprender más claramente los objetivos del programa y, como resultado, a sentirse más confiados sobre la calidad del servicio prestado. Este tipo de retroalimentación da prueba del impacto poderoso que tiene un proceso evaluador realizado en conjunto como el que hemos presentado, para dar servicios de mejor calidad y para construir un ambiente confiado y optimista entre los profesionales.

Cualquier plan integral para evaluar la efectividad de una intervención debería contar con un método sistemático de recolección de datos, sobre la base de los tres componentes descriptos en la Figura 1. Con el objeto de obtener una imagen precisa de cuáles son las intervenciones más eficientes, para que tipo de usuarios, bajo que circunstancias, es necesario examinar los resultados obtenidos, los procesos llevados a cabo para alcanzar esos resultados y los recursos (aportes) requeridos para poner el proceso en acción. Esto se optimiza por medio de interacciones solidarias entre los evaluadores, los diseñadores curriculares, los desarrolladores del programa y los profesionales, que asegurarán que el esquema evaluador está completamente integrado a la prestación del servicio. El enfoque funciona mejor cuando se utiliza un Diseño curricular en reversa , en el cual se eligen los resultados antes de desarrollar el programa, y donde dicho desarrollo y su evaluación suceden en forma simultánea e interactiva. Así, la evaluación del programa se entrelaza con su desarrollo y no se superpone con otros programas ya implementados. Este tipo de enfoque que alienta el trabajo en conjunto ayuda a asegurar que los resultados deseados son explícitos y mesurables, y que están claramente vinculados a las actividades realizadas durante el programa. Esta especie de enlace permite demostrar la relación causal existente entre el contenido de un programa y los cambios operados en el destinatario.

Nota. En el sitio del CRWG (http://www.crwg-gdrc.ca/index.html) pueden encontrarse descripciones completas de como se ha usado este enfoque evaluador y también una recopilación de algunas herramientas utilizadas en ensyos de campo que han incorporado este marco teórico.

Notas

1. HRSDC: Human Resources and Skills Development. (Departamento de Recursos Humanos y Desarrollo de Competencias).

2. CRWG: Canadian Research Working Group on Evidence-Based Practice in Career Development

3. En inglés, Post-Pre Assessment. Evaluación posterior-previa.

Bibliografía

1 Baudouin, R., Bezanson, M. L., Borgen, W., Goyer, L., Hiebert, B., Lalande , V., Magnusson, K., Michaud, G., Renald, C., & Turcotte, M. (2007). Demonstrating value: A draft framework for evaluating the effectiveness of career development interventions. Canadian Journal of Counselling, 41 , 146-157.         [ Links ]

2 Blustein, D. L. (2006). The Psychology of Working . New Jersey : Lawrence Erlbaum.         [ Links ]

3 Conger, D. S., Hiebert, B., & Hong-Farrell, E. (1993). Career and employment counselling in Canada . Ottawa , ON : Canadian Labour Force Development Board.         [ Links ]

4 Dozois, D. J. (2011). Training in professional psychology: The content and process of learning. Psynopsis, 33 (4), 7.         [ Links ]

5 Hiebert, B. (1994). A framework for quality control, accountability and evaluation: Being clear about the legitimate outcomes of career counselling. Canadian Journal of Counselling , 28 , 334-345.         [ Links ]

6 Hiebert, B. (2012). Post-Pre Assessment: An innovative way for documenting client change. Guidance Perspectives Around the World. Available from: http://iaevg.org/crc/resources.cfm?subcat=200,202 & lang=en         [ Links ]

7 Hiebert, B., & Charles, G. (2008). Accountability and Outcomes in Health and Human Services: Changing Perspectives for Changing Times. Calgary , AB : Canadian Outcomes Research Institute. Available from: http://bryanhiebert.ca/research/files /CORI_Issue1_web.pdf .         [ Links ]

8 Hiebert, B., Domene, J. F., & Buchanan, M. (2011). The Power of Multiple Methods and Evidence Sources: Raising the Profile of Canadian Counselling Psychology Research . Canadian Psychology , 52, 265-275.         [ Links ]

9 Hiebert , B., Bezanson, L., O'Reilly, E., Hopkins, S., Magnusson, K., & McCaffrey, A. (2012). Assessing the Impact of Labour Market Information: Final Report on Results of Phase Two (Field Tests). Ottawa , ON : Canadian Career Development Foundation (CCDF). Retrieved from http://www.crwg-gdrc.ca/crwg/index.php/research-projects/lmi .         [ Links ]

10 HRSDC (Human Resources and Skills Development Canada ). (2011). What works in career development services? Measuring the results of labour market integration services. Gatineau , QC : Human Resources and Skills Development Canada Policy Research Directorate.         [ Links ]

11 Killeen , J., White, M., & Watts , A. G. (1993). The Economic Value of Careers Guidance. London, England: Policy Studies Institute.         [ Links ]

12 Lalande, V., & Magnusson, K. (2007). Measuring the Impact of Career Development Services in Canada : Current and Preferred Practices. Canadian Journal of Counselling, 41, 146-157.         [ Links ]

13 Magnusson, K., & Lalande, V. (2005). The state of practice in Canada in measuring career service impact. Ottawa , ON : Canadian Career Development Foundation. Retrieved from CRWG website: http://www.crwg-gdrc.ca/crwg /index.php /research-projects/state-of-practice .         [ Links ]

14 Maguire, M. & Killeen, J. (2003). Outcomes from career information and guidance services. Paris : Organization for Economic Cooperation and Development.         [ Links ]

15 Posavac, E. J. (2011). Program evaluation: Methods and case studies (8th ed.). New York : Prentice Hall.         [ Links ]

16 Robinson, E. A. R., & Doueck, H. J. (1994 ). Implications of the pre/post/then design for evaluating social group work. Research on Social Work Practice, 4, 224-239.         [ Links ]

17 Wiggins, G., & McTighe, J. (2005). Understanding by design. Alexandria , VA : Association for Supervision and Curriculum Development (ASCD).         [ Links ]

Recibido: 23-04-2012
Aceptado:27-07-2012