Educación Médica

Evaluación del aprendizaje basado en competencias de cirugía en el pregrado de medicina

Evaluaton of competency based learning of surgery in undergraduate medical students

 

Manuel R. Montesinos, MAAC.

Departamento de Cirugía. Hospital de Clínicas José de San Martn. Universidad de Buenos Aires.

Correspondencia: Dr. Manuel R. Montesinos e-mail: mrmontesi-nos5@hotmail.com Dirección: Paraguay 1374 3 A (1057). Ciudad Autónoma de Buenos Aires.

---

RESUMEN

La educación basada en competencias ha sido aceptada como un enfoque docente orientado hacia los resultados del aprendizaje: conocimiento, habilidades y acttudes que le permitrán al aprendiz realizar efectvamente actvidades en un futuro entorno profesional. Esto es especialmente adecuado para estudiantes de medicina de pregrado durante la cursada de cirugía.
Este tpo de enfoque requiere una evaluación apropiada para reforzar el proceso de aprendizaje. Sin embargo, la evaluación basada en competencias implica hacer juicios subjetvos sobre el nivel de realización de un determinado grupo de competencias. Por lo tanto, es importante desarrollar estrategias precisas para medir las diferentes competencias.
El presente informe describe tres instrumentos de evaluación alineados con la enseñanza basada en competencias: resolución de casos problema, elaboración de algoritmos y observación de la práctica clínica.
Estas estrategias permiten al equipo docente llevar a cabo una evaluación formatva y una calificación formal.

Palabras clave: evaluación basada en competencias, educación médica.

AbSTRACT

Competency-based educaton has been accepted as a teaching approach focused on outicomes of learning: knowledge, skills and attudes that will enable the learner to efectvely perform actvites in a future professional environment. This is particularly appropriated for undergraduate medical students during the course of surgery.
This kind of approach requires a proper evaluaton to reinforce the learning process. However, competency-based evaluaton involves making subjectve judgment about the level of performance of a set of competencies. Therefore, it is important to develop precise strategies to measure diferent competencies.
The present report describe three evaluaton tools in line with the competency based teaching appro-ach: resoluton of case problems, elaboraton of algorithms and observaton of clinical practice. These strategies allow the teaching staf to develop a formatve evaluaton and formal qualificaton.

Key words: competency based evaluaton, medical educaton.

---

 

Introducción

Las metodologías actvas para el aprendizaje basado en competencias (ABC) consttuyen el modelo dominante en educación superior, a partr de lo propuesto en la declaración de Bolonia, en vistas al Espacio Europeo de Educación Superior, en 1999.²

La enseñanza de la materia Cirugía en la carrera de Medicina de la Universidad de Buenos Aires se presta especialmente para adaptarse al modelo del ABC, ya que se trata de una materia integrante del Ciclo Clínico que se dicta en el últmo año de la carrera, en diferentes unidades asistenciales.

Un programa de enseñanza basado en competencias permite alcanzar un aprendizaje significatvo de conocimientos teóricos, habilidades y acttudes clínicas.

Se entende por aprendizaje significatvo aquel que ocurre cuando el alumno relaciona e integra los conocimientos nuevos con los que ya posee, y puede de esta manera aplicarlos a situaciones diferentes de aquellas en las cuales los aprendió. Esto hace que pueda construir y desarrollar el conocimiento desde su propia perspectva.⁹

Resulta importante contar con instrumentos de evaluación del aprendizaje alineados con los objet-vos propuestos que estmulen a los alumnos a la adquisición de las competencias y sirvan para retroalimentar el proceso de enseñanza con las correcciones necesarias.

El objetvo del siguiente informe es describir instrumentos de evaluación idóneos para evaluar el aprendizaje de competencias en cirugía a fn de difundir su empleo en el cuerpo docente.

Evaluación del aprendizaje de competencias

Con respecto a la evaluación de las competencias, se ha difundido un esquema del educador George Miller en 1990,⁷ quien estableció un modelo para la evaluación de la competencia profesional como una pirámide de cuatro niveles (Figura 1).

El nivel inferior corresponde al "sabe" e implica la posesión de conocimiento teórico pertnente a la disciplina que se va a evaluar.

El nivel inmediato superior es el de “sabe cómo”, y significa la capacidad de demostrar la aplicación teórica de los conocimientos anteriores a una situación determinada.

El siguiente nivel es el de “demuestra cómo”, y allí se ubica la capacidad de demostrar el conocimiento en una situación simulada o “in vitro”. Por último, el nivel superior se define como el de “hace”, e implica la capacidad de aplicar los conocimientos en un entorno real, en forma autónoma, aunque supervisado, y corresponde a haber adquirido realmente la competencia deseada. El valor de este modelo reside en su capacidad de ordenar los instrumentos de evaluación según el nivel de conocimiento o competencia que se intente evaluar.

Además, para la elección de uno u otro instrumento deben tenerse en cuenta algunas características: Validez: significa que el instrumento realmente mida lo que se pretende medir.

Confiabilidad: significa que el instrumento mida con precisión: si se mide varias veces lo mismo siempre debe dar el mismo valor.

Impacto educacional: significa la consecuencia que tiene la evaluación en el aprendizaje, ya que se ha reconocido que la evaluación guía el aprendizaje de los alumnos, quienes desean aprobar el examen. Aceptabilidad: significa la aceptación por parte de los estudiantes y de los docentes del instrumento a los fines de la evaluación deseada.

Costo: es importante considerar ante un instrumento de evaluación que su implementación sea posible según los costos materiales, humanos y de tiempo que requiera.

La selección de los instrumentos de evaluación más convenientes, en una situación de enseñanza- aprendizaje particular, debe hacerse teniendo en cuenta la competencia para evaluar, los métodos disponibles y su posibilidad de ser empleados.

A los efectos de esta selección es útil recurrir a la propuesta de la pirámide de Miller (Figura 1), que será desarrollada más adelante.

Se han descripto también otras habilidades, también pasibles de ser evaluadas, denominadas metacognitivas, y que consisten en que cada individuo pueda percibir por qué sabe lo que sabe, por qué no sabe, y cómo remediar la falencia, lo que implica la capacidad del autoaprendizaje permanente y autónomo8.

Situación actual de la evaluación

La asignatura Cirugía se encuentra en el ciclo Clínico de la carrera de Medicina, de la Universidad de Buenos Aires. Se cursa durante el sexto año de la carrera, a lo largo de diez semanas en diferentes Unidades Docentes Hospitalarias.

Un nuevo conjunto de contenidos fueron aprobados en la Sesión del Consejo Directivo de la Facultad de Medicina del 14 de mayo de 2009, por Expediente No 501.470/09.

La descripción de los contenidos es bastante genérica, debido a que el cronograma está vigente en 50 Unidades Docentes Hospitalarias, con distintos recursos docentes materiales y humanos. Además de algunas modificaciones puntuales, está incluida la realización de un Ateneo Integrador. Tanto sus propósitos como sus objetivos describen la adquisición de competencias clínicas.

En el último punto de la resolución se menciona dentro de la evaluación formativa “Las habilidades clínicas, las destrezas manuales y las habilidades de comunicación se evalúan de manera continua mediante clasificación cualitativa o semicuantitativa en cada trabajo práctico”.

La Resolución 2083 del Consejo Directivo de la Facultad de Medicina, dictada el 27 de septiembre de 2012 aprueba el “Reglamento para la toma de exámenes y conformación de mesas examinadoras”. En el último punto describe la evaluación del desempeño, pero señalando que su implementación será opcional.

La efectuarán los ayudantes de Trabajos Prácticos y se basará en la observación sistemática de la conducta del alumno durante los trabajos prácticos. La calificación surgirá de la aplicación de una escala con cuatro categorías según el siguiente detalle.

• Insuficiente (equivale a nota 2)

• Suficiente (equivale a nota 5)

• Distinguido (equivale a nota 8)

• Sobresaliente (equivale a nota 10)

Sin embargo, en la actualidad, tanto por las dificultades en la implementación de una evaluación del desempeño como por su característica de opcional, los instrumentos de evaluación empleados evalúan conocimientos teóricos, de aprendizaje memorístico.

En general, no existe espacio de devolución formal por parte de los docentes de los resultados de las evaluaciones que permita un aprendizaje significativo, sino solamente la calificación y la consiguiente promoción. Además, existe una baja fiabilidad en la exactitud de la nota en las pruebas escritas de respuesta libre y examen oral por falta de consenso entre los docentes en una escala común de valorización.

Ninguno de los instrumentos actualmente en uso evalúa competencias clínicas prácticas: habilidades y actitudes, lo que contribuye a desalentar su aprendizaje. Siguiendo a Camilloni, puede afirmarse que la evaluación actual es un régimen de promoción por examen final. Como tal debería estar diseñado para evaluar lo aprendido a lo largo del curso (validez de contenido) y además permitir predecir eficazmente el desempeño posterior del alumno (validez predictiva). El examen final genera una calificación que se combina con otros requisitos (80% de asistencia, aprobación de los exámenes parciales), para generar la nota final. La promoción por examen final tiene la limitación de evaluar al alumno en una situación de breve duración, que puede estar influida por factores circunstanciales. Por su orientación hacia contenidos teóricos, condiciona en forma retroactiva el aprendizaje hacia ese tipo de información y desalienta el interés por la adquisición de competencias clínicas prácticas.4 Por lo tanto, resulta evidente la necesidad de adecuar los instrumentos apropiados para la evaluación de los aprendizajes de competencias.

Instrumentos de evaluación y calificación de competencias Siguiendo lo propuesto por Miller en su estratificación de niveles de conocimiento, se eligen y describen instrumentos de evaluación del nivel 2, correspondiente a “saber cómo”, y que consisten en la técnica de resolución de problemas y la técnica de elaboración de algoritmos diagnósticos y terapéuticos en el aula. Con respecto a la evaluación del “hacer”, se prefiere la observación directa de las actividades prácticas desarrolladas por los alumnos, y cuyo escenario de evaluación serán los consultorios externos o las salas de internación.

Resolución de casos problema

Este instrumento posee legalidad, pues es bien aceptado por docentes y alumnos; validez, ya que evalúa lo que se pretende evaluar, y fiabilidad, si se emplea una grilla de corrección consensuada por los docentes. Se utiliza una escala de medición de intervalos, en la que los intervalos entre los pares de grados sucesivos son iguales.

Por motivos reglamentarios es preciso calificar dentro un rango de 1 a 10.

Esto hace necesario ajustar el puntaje obtenido en la grilla con una nota final, mediante una tabla para poder contar con una escala de calificación numérica, con un nivel mínimo de aprobación de 4 puntos, por lo que hay 4 grados o niveles de calidad diferentes para la desaprobación y 7 niveles de calidad para la aprobación.

Se trata de un instrumento ideal para ser aplicado en el último año de la carrera ya que permite integrar conocimientos previos. Otra ventaja es que permitiría evaluar a varios alumnos al mismo tiempo si se hiciera en forma grupal.

Tiene la desventaja de requerir un esfuerzo en la preparación del caso por parte del docente, a fin de que tenga los componentes necesarios para generar alternativas y debate, sin ser excesivamente complejo o infrecuente.

Además, es necesario que se haya trabajado con la resolución de casos similares durante la enseñanza para que los alumnos estén familiarizados con las consignas y con lo que se espera de ellos. La corrección y calificación podría estar influenciada por cierta subjetividad, por lo que es necesario contar con grillas consensuadas.

Sería deseable poder realizar una devolución del examen, a fin de que los alumnos comprendan la racionalidad de la evaluación y actuar en consecuencia para corregir las deficiencias que se señalen. Elaboración de algoritmos diagnósticos y terapéuticos El algoritmo reproduce la estructura del pensamiento humano aplicado a encontrar opciones convenientes y tomar decisiones. Tiene similitudes con el mapa conceptual, en cuanto al ordenamiento de conceptos y a la disposición espacial; a diferencia del mapa conceptual, no requiere explicitar las conexiones entre conceptos, y la disposición es unidireccional, sin conexiones retrógradas.

En su aplicación en la práctica médica asistencial cotidiana, el algoritmo presenta algunas limitaciones: la imprecisión de alguna información, el contexto, las carencias fortuitas de algún elemento, las asociaciones infrecuentes.

Este instrumento, al igual que el anterior, posee legalidad, pues es bien aceptado por docentes y alumnos, y validez, ya que evalúa lo que se pretende evaluar. La fiabilidad es el punto más difícil de conseguir, debido a los diferentes criterios entre los docentes, tanto en el objetivo pretendido como instrumento de evaluación, como en lo que representa como guía de conductas clínicas.

Al igual que en el caso anterior, es imprescindible contar con una guía de corrección consensuada para disminuir la subjetividad en la corrección y calificación. También la devolución del examen serviría para afianzar los conocimientos adquiridos y corregir los errores.

 

 

 

Elaboración de algoritmos diagnósticos y terapéuticos Observación

El algoritmo reproduce la estructura del pensamiento humano aplicado a encontrar opciones convenientes y tomar decisiones. Tiene similitudes con el mapa conceptual, en cuanto al ordenamiento de conceptos y a la disposición espacial; a diferencia del mapa conceptual, no requiere explicitar las conexiones entre conceptos, y la disposición es unidireccional, sin conexiones retrógradas.

En su aplicación en la práctica médica asisten-cial cotdiana, el algoritmo presenta algunas limitacio-

Se trata de un instrumento de evaluación des-tnado a recoger información del desempeño del alumno durante la realización de tareas, y complementa los datos de su rendimiento académico.⁶

Las acttudes son estados internos del sujeto, y se manifestan en la conducta. Las habilidades consisten en la eficiencia en realizar una determinada tarea. Tanto unas como otras deben ser evaluadas a través de una observación que, en forma siste-matzada, detecta comportamientos y opiniones del alumno en acción congruentes con los enseñados.

Además, identifica y valora la eficiencia de la realización de tareas prácticas que revelen un aprendizaje adecuado de habilidades.¹

Tanto las habilidades como los hábitos clínicos integran la competencia clínica práctica, que es la aplicación de los conocimientos teóricos para la asistencia

directa de los pacientes.⁵

La observación, como instrumento de evaluación del aprendizaje de competencias clínicas prácticas, requiere algunas condiciones para su implementación exitosa.

a) Docentes especialmente motvados en dar participación actva a los alumnos en el proceso de atención médica. Sin dicha colaboración es imposible llevar a cabo el instrumento.

b) Número de pacientes suficiente para permitr la actividad de todos los alumnos.

c) Pacientes portadores de patologías pasibles de ser evaluadas.

d) Disposición de los alumnos para adquirir competencias prácticas, ya que a diferencia del aprendizaje pasivo memorístico, la adquisición de competencias prácticas requiere una acttud actva.

e) A fn de que exista la necesaria coherencia entre el proceso de enseñanza-aprendizaje y la evaluación, es imprescindible que exista un espacio adecuado durante el curso para la realización actvidades prácticas.

La observación debe cumplir los siguientes pasos.

1. Defnir cuáles son las competencias prácticas, acttudes y habilidades, que se pretende evaluar, según lo oportunamente enseñado.

2. Identificar las manifestaciones externas.

3. Generar un instrumento de medición, con categorías de logro.

4. Ponerlo en práctica.

5. Analizar los resultados y trasladarlos a una escala de calificación.

Este instrumento es el más apropiado para evaluar competencias prácticas, pero el más dificil de realizar por los problemas prácticos de su implementación.

Es necesario que los docentes asuman la responsabilidad social de enseñar y evaluar adecuadamente a futuros profesionales de la salud, ya que eso impactará directamente en la atención médica de la población. Una forma de implementación posible sería efectuar la observación durante la realización del trabajo práctico en consultorios externos al fnal de cada mañana. Esto permitría obtener notas a lo largo de la cursada, cuyo promedio contribuiría, junto con el examen fnal, a defnir la nota de la materia.

Las grillas de corrección y calificación propuestas a contnuación permitrían una ponderación adecuada y disminuirían prejuicios y subjetvidades del docente.

Limitaciones de los instrumentos propuestos

Existen varias limitaciones para la implemen-tación de un cambio en la modalidad de la evaluación aquí propuesta, que pueden ser ordenados de la siguiente forma.

. Dependientes de los docentes: es habitual una resistencia al cambio en los grupos de trabajo cuando su situación laboral no le despierta cuestionamientos, ni ven claramente los puntos modificables de la situación actual; los docentes actuales llevan muchos años evaluando con otras técnicas, y deben ser instruidos para poder entender la necesidad y ventaja del cambio y así brindar cooperación.

. Dependientes de los alumnos: si bien ellos serían los principales beneficiados por los cambios propuestos, lo cierto es que el cambio por instrumentos de evaluación con los que no se encuentran familiarizados les produce ansiedad y rechazo. La comprobación de que la evaluación estará alienada con la enseñanza (se toma lo que se enseña) les dará seguridad y estimulará el aprendizaje de competencias.

.Dependientes de la institución: en una institución grande y burocrática, los cambios son muy difíciles de implementar en forma masiva, ya que requieren alcanzar consensos entre diferentes sectores y pasar varios niveles de autoridades; la evaluación de competencias tiene el presupuesto básico la implemen-tación de un aprendizaje basado en competencias. La forma de iniciar su implementación será necesariamente en grupos piloto reducidos, y bas´nadose en a los resultados, sumar participantes para promover su generalización a otras materias de la carrera.

Conclusiones

En relación con el objetvo propuesto, se describen tres instrumentos de evaluación aptos para el aprendizaje basado en competencias de la asignatura Cirugía de la carrera de medicina. A pesar de las limitaciones existentes, es necesario reconocer la necesidad de contar con una evaluación que estmule el aprendizaje de competencias clínicas en alumnos en el últ-mo año de la carrera, ya que permitrá la graduación de egresados con mejores herramientas para su futuro desempeño profesional.

Ello repercutrá en una oferta de candidatos a las residencias mejor calificados y disminuirá el aprendizaje "en terreno" con la consiguiente mejora en la calidad de la atención médica de la población.

Referencias bibliográficas

1.  Álvarez de Eulate CY, Villardon Gallego, L. Op. cit. p. 110-111.         [ Links ]

2.  Blanco A. Desarrollo y evaluación de competencias en Educación Superior. Madrid: Narcea; 2009. Pp. 17-34.

3.  Biggs J. Calidad del aprendizaje universitario. 3^a ed. Madrid: Nar-cea; 1999. P. 177.

4.  Camillioni A. Sistemas de calificación y regímenes de promoción. En: Camillioni A, Litwin E, Celman S, et al. Evaluación de los aprendizajes en el debate didáctico contemporáneo. Buenos Aires: Pai-dós; 1998. Cap 5. Pp. 133-76.

5.  Cox K. ¿Qué se incluye en la competencia clínica? En: Cox K; Ewan, CE. La docencia en Medicina. Barcelona: Ediciones Doyma; 1990. P. 91-6.

6.  Laforucade P. Clasificación y análisis de las pruebas de comprobación del rendimiento escolar. En su: Evaluación de los aprendizajes. Buenos Aires: Kapeluz; 1969. Cap. 4. Pp. 72-105.

7.  Miller G. The assessment of clinical skills /competence / performance. Academic Medicine 1990; 65: S63-S67.

8.  Muijtjen AMM, Vollenhoven HM, van Luijt S, van der Vleuten CPM. Sequental testng in the assessment of clinical skills. Acade-mic Medicine 2000; 75: 369-73.

9.  Villa A, Poblete M. Aprendizaje basado en competencias. 2^a ed. Bilbao: Universidad de Deusto; 2008. Pp. 17.