INTRODUCCIÓN

La educación médica en Ortopedia y Traumatología Infantil consiste en el desarrollo y la adquisición de competencias específicas, finalidad de todo currículo planificado e incluido en el programa oficial de una residencia. Una competencia es definida como el conjunto de conocimientos, habilidades y actitudes que facultan una excelente práctica médica en continuo perfeccionamiento y adecuada al contexto social en la cual se desarrolla. Incluye aspectos cognitivos (conocer y comprender), habilidades psicomotoras (saber cómo actuar), y formación en valores y actitudes (saber cómo ser).^1,2

Determinar si los médicos residentes cumplen con las expectativas de logro estipuladas, requiere utilizar instrumentos de evaluación estructurados, adaptables y pertinentes, en relación con los contenidos y objetivos incluidos en los programas formativos. El propósito fundamental de una evaluación es el análisis del proceso de aprendizaje, algo que hacemos con y para los residentes y no, a los residentes.^1,3,4

En 2010, el Grupo de Consenso de la Conferencia de Ottawa ha definido los criterios de una adecuada evaluación: validez, confiabilidad, justicia y equidad, equivalencia, factibilidad, efecto educativo y catalítico, y aceptabilidad. Un instrumento es válido cuando efectivamente evalúa lo que pretende evaluar, es coherente con las estrategias de la enseñanza y con los contenidos. La confiabilidad es un concepto estadístico que define la estabilidad o reproducibilidad de una prueba; se expresa por un coeficiente de correlación, en el cual 1 es la perfección y 0, la nulidad. Justicia y equidad responden al principio social de la educación. La equivalencia es la probabilidad de aplicación de la misma metodología evaluativa en encuentros posteriores o en diferentes instituciones. La factibilidad es la disponibilidad de recursos físicos, humanos y financieros. Toda evaluación tiene efecto sobre la estrategia educativa y sobre el futuro del profesional. El efecto catalítico es la capacidad de imitación o difusión de una metodología de evaluación.⁵

En 1990, Miller postuló una pirámide de conocimientos de cuatro peldaños (Figura). En los dos inferiores, se sitúan los conocimientos teóricos (saber) y su aplicación en casos concretos (saber cómo). Los peldaños superiores se refieren al comportamiento: el tercero expresa la competencia en ambientes simulados o in vitro (demuestra), en tanto que el cuarto escalón o cúspide de la pirámide es el patrón de referencia del profesionalismo o de la práctica de la medicina en situaciones reales (hacer). Es factible evaluar cada estamento por instrumentos específicos. El menú para la cúspide de la pirámide incluye: Clinical Evaluation Exercise (CEX), Mini-Clinical Evaluation Exercise (Mini-CEX), Direct Observation of Procedural Skills (DOPS), la retroalimentación o multisource feedback 360, el portafolio, los estudios basados en casos, las videograbaciones, evaluaciones por pares, auditorías y otros. Todos pueden ser utilizados para la evaluación formativa, sumativa o ambas evaluaciones (Figura).^6,7

La observación directa de habilidades clínicas y quirúrgicas de los médicos residentes es esencial. A tal efecto y, para las primeras de ellas, el American Board of Internal Medicine desarrolló el Mini-CEX en 1995.^8,9,10,11 Se trata de un instrumento de evaluación estructurado con pacientes y situaciones reales en contextos variados y con dificultades diversas. El instrumento DOPS fue introducido en 2005, en el Reino Unido, por el United Kingdom Foundation Programme, como un recurso de evaluación de competencias quirúrgicas y técnicas específicas. También utiliza pacientes y situaciones reales en escenarios de diversa complejidad.^{12,13,14,15,16,17,18} Es importante destacar que no está diseñado para evaluar situaciones in vitro: en animales o en anfiteatro anatómico.⁹ El Mini-CEX tiene mayor sustento en la bibliografía, probablemente, porque la publicación y la aplicación del DOPS son más recientes.^4,8

Estas evaluaciones pueden llevarse a cabo a solicitud del observador o del residente, hecho que reduce significativamente el estrés psíquico o la ansiedad de la experiencia.⁸ Ambas incluyen una devolución sistemática o realimentación.^8,9,16

El propósito de esta investigación fue determinar la validez y confiabilidad de los instrumentos Mini-CEX y DOPS en una evaluación formativa de competencias clínicas, quirúrgicas y prácticas ortopédicas específicas de una Residencia de Ortopedia y Traumatología Infantil.

Figura Pirámide de Miller del conocimiento y correlación con instrumentos de evaluación. 

MATERIALES Y MÉTODOS

Se trata de una investigación de cohortes, observacional y prospectiva, de categoría diagnóstica. Entre noviembre de 2018 y abril de 2019, se evaluó a los médicos de una Residencia de Ortopedia y Traumatología Infantil, acreditada por la Asociación Argentina de Ortopedia y Traumatología y la Sociedad Argentina de Ortopedia y Traumatología Infantil. Es una residencia de segundo nivel, cuyo requisito sine qua non es haber realizado y aprobado una residencia de Ortopedia y Traumatología general, así como un examen de preguntas de opción múltiple. Es el único sistema formativo infantil desarrollado en un hospital netamente pediátrico y de máxima complejidad de la provincia. El programa tiene una duración de dos años, con opción a un tercero en calidad de jefe de residentes. A efecto de la recopilación de datos y del procesamiento estadístico, nos referiremos a los médicos residentes de primero, segundo año y jefe de residentes, como R1, R2 y R3, respectivamente.

El cuerpo de evaluadores estuvo conformado por médicos de planta del servicio, quienes escogieron aleatoriamente tanto al residente por entrevistar, como la competencia que observar. Inversamente, algunos residentes solicitaron ser evaluados en una determinada actividad. Para las competencias clínicas se utilizó el Mini-CEX en diversos contextos: consultorio externo y de guardia, interconsultas y salas de internación. La complejidad del procedimiento fue clasificada en baja, media o alta. Se incluyeron las siguientes variables: anamnesis y exploración física, ética o profesionalismo, juicio clínico, organización y eficiencia. Cada competencia fue valorada como: de 1 a 3 o insatisfactoria, de 4 a 6 o satisfactoria y de 7 a 9 o sobresaliente. Se consignó el tiempo de la observación y de la realimentación. Ambos, evaluador y residente, pudieron expresar su satisfacción con el encuentro en una escala 1 a 10. El observador pudo señalar por escrito los aspectos positivos de la experiencia y aquellos pasibles de mejorar (Tabla 1).

Tabla 1 Ficha estructurada del Mini-Clinical Evaluation Exercise (Mini-Cex) 

El DOPS se escogió para evaluar competencias en cirugías programadas y de guardia y, en el tratamiento ortopédico del pie bot con técnica de Ponseti. Se consignó el rol del residente como cirujano o ayudante. La complejidad de los procedimientos fue clasificada en: menor que la habitual, habitual y más que la habitual. Las variables evaluadas fueron: consentimiento informado específico, indicación terapéutica, anatomía, procedimiento y complicaciones, preparación del procedimiento según protocolo, demostración de buena asepsia y uso adecuado del instrumental, desarrollo ordenado de la técnica, respeto de las estructuras anatómicas, conducta ante una situación inesperada, comunicación personal y con el equipo quirúrgico, confección del protocolo quirúrgico, demostración del comportamiento profesional en todas las instancias e indicaciones del cuidado posquirúrgico. A cada observación se le adjudicó el siguiente puntaje: 0 = no observado, 1 = desarrollo inferior a lo esperado, 2 = satisfactorio o nivel deseado y 3 = sobresaliente. Al igual que, en el Mini-CEX, se realizaron devoluciones inmediatas, evaluador y residente pudieron expresar su satisfacción con la prueba, aspectos por ponderar y aquellos que modificar (Tabla 2). Para ambas situaciones se precisó el diagnóstico del paciente, la edad y el sexo.

Tabla 2 Ficha estructurada del Direct Observation of Procedural Skills (DOPS) 

Con suficiente antelación se remitieron por correo electrónico, tanto a residentes como al cuerpo de evaluadores, un explicativo de las pruebas por utilizar, sus objetivos e importancia, así como las fichas estructuradas. Posteriormente, se realizó una reunión explicativa presencial, con docentes y con residentes, a efectos de capacitarlos con la metodología y allanar dudas, especialmente, se insistió en el concepto de que una evaluación no es un examen, no otorga notas ni certificaciones.

Los datos recabados se volcaron en planillas Excel Microsoft Windows 10 para el análisis ulterior. Se utilizó el programa SPSS 17 para el procesamiento estadístico.¹⁷ Se estableció un nivel de significancia de p ≤0,05. Para el análisis univariable se utilizó la prueba de ji al cuadrado sensibilizada con la prueba de rangos de Wilcoxon para muestras pareadas. El análisis comparativo entre grupos de residentes se realizó con la prueba de Kruskal-Wallis. La confiabilidad de los instrumentos de evaluación fue determinada con el coeficiente psicométrico α de Cronbach.

RESULTADOS

Se llevaron a cabo 65 observaciones en seis residentes, a cargo de seis médicos de planta, cuatro de ellos, docentes de una Universidad Nacional y todos con una residencia médica (o sistema equivalente) cumplida en Ortopedia y Traumatología Infantil. La edad promedio de graduación fue de 25 años (rango 13-38).

Mini-CEX : comprendió 40 evaluaciones de 40 pacientes con una media de edad de 7.2 años (rango 6 meses-14 años), sin predominio de sexo. Las observaciones correspondieron: 47,5% a R1, 22,5% a R2 y 30% a R3. Cada docente realizó una media de 6,66 observaciones (rango 5-10). El tiempo promedio del encuentro fue de 16.4 min (rango 10-30) y el destinado a la devolución, de 7 min (rango 5-15). Cada residente tuvo una media de 6,66 evaluaciones (rango 3-10), a cargo de 3 a 6 docentes. En la Tabla 3, se observa la cantidad de observaciones realizadas en cada escenario clínico. La complejidad de la consulta fue considerada: baja (37,5%), moderada (32,5%) y alta (30%). El 22,5% de las consultas eran de “primera vez”; el 35,7%, de “seguimiento” y el 42,5% no fueron consignadas. De todas las competencias evaluadas, el puntaje máximo correspondió a profesionalismo y los más deficitarios se relacionaron con el juicio clínico y la organización efectiva. Los R1 obtuvieron menor puntaje en el examen físico; los R2, en profesionalismo y los R3, en la anamnesis (Tabla 4). Sin embargo, no hubo diferencia estadísticamente significativa en las observaciones de la residencia como un todo. La satisfacción de los docentes tuvo una media de 8,37 (rango 4-10) y la de los residentes de 8 (rango 2-10) (p <0,003).

Tabla 3 Mini-CEX. Frecuencia de evaluaciones por cada escenario clínico  

Tabla 4 Puntajes por año de residencia y ámbito de evaluación 

Estadística inferencial: analizando las competencias específicas por año de residencia, los R1, salvo en profesionalismo, tuvieron inferiores calificaciones. Los R2 obtuvieron menor aptitud en profesionalismo y los R3, muy discretamente, en anamnesis, aunque la diferencia entre grupos no fue significativa (p = 0,31). Al evaluar todas las competencias entre grupos, los R3 obtuvieron valores superiores con respecto a los otros con valor significativo (p <0,05). Así y todo, los R1 obtuvieron una calificación promedio satisfactoria; y los R2 y R3, sobresaliente. Comparados según el ámbito de observación, los R1 y R2 obtuvieron mejor puntaje en consultorio externo (p <0,02) y, los R3, en sala de internación e interconsultas (p <0,03). El coeficiente α de Cronbach fue de 0,92 para el Mini-CEX y de 0,85 a 0,97 para la relación intrínseca entre variables (Tablas 5 y 6).

Tabla 5 Mini-CEX. Competencias evaluadas por ámbito, valores promedio  

Tabla 6 Mini-CEX. Competencias por año de residencia 

DOPS : sobre 25 observaciones, el 40% correspondió a R1; el 28%, a R2 y el 32%, a R3. La evaluación incluyó 23 pacientes, el 78% eran varones, y la edad promedio era de 6.76 años (rango 6 meses-14 años). La media del tiempo de evaluación fue de 1 h y 21 min (rango 10 min-5 h y 50 min), la realimentación promedio se realizó en 8.8 min (rango 5-15). La complejidad del procedimiento fue considerada habitual en el 68% y más que habitual en el 32%. Los residentes actuaron como cirujanos en el 72% de los procedimientos y como ayudantes en los restantes. En 19 oportunidades, se evaluaron cirugías traumatológicas y ortopédicas de diversas etiologías y, en seis casos, tratamiento del pie bot con técnica de Ponseti, lo cual incluyó manipulaciones, yesos y, en algunos pacientes, tenotomía del tendón de Aquiles, así como la pericia con el uso de la férula de abducción. Cada residente fue evaluado, en promedio, 4,16 veces (rango 3-6) por 2,8 docentes (rango 2-4). En términos generales, el 72% tuvo una calificación satisfactoria o según lo deseado, y el 28% lo hizo de manera sobresaliente. Ninguno tuvo un resultado inferior a lo esperado. La satisfacción del docente con la observación tuvo una media de 8 (rango 7-10) y de los residentes un promedio 8,63 (rango 6-10) (p <0,03).

Estadística inferencial: comparando los grupos de residentes, observamos una diferencia estadísticamente significativa en las competencias globales a favor de los R3 (p <0,05). Igualmente, este último grupo fue más competente en la resolución de situaciones inesperadas durante el acto quirúrgico (p <0,005). El coeficiente α de Cronbach fue de 0,90 para el DOPS, pero para la correlación interna entre variables fluctuó entre 0,89 y 0,93 (Tablas 7 y 8).

Tabla 7 DOPS. Relación entre competencias en el escenario quirúrgico 

Tabla 8 Relación entre los años de la residencia y las competencias quirúrgicas analizadas 

DISCUSIÓN

La finalidad de un programa de residencia es la profesionalización del médico mediante la adquisición progresiva de competencias específicas. Resulta imprescindible determinar si las estrategias de la enseñanza han sido adecuadas y las expectativas de logro se han cumplido. Ello requiere un proceso de evaluación, de diagnóstico u obtención sistemática de información, mediante la aplicación de diversos instrumentos. Según su oportunidad, la evaluación puede ser diagnóstica o inicial, sumativa o final y formativa, cuando se desea supervisar el proceso y el progreso del aprendizaje. En nuestra especialidad, la tarea es ardua, porque debemos incluir competencias muy heterogéneas. Sigmund Freud, en El malestar de la cultura, irónicamente definía como profesiones imposibles a aquellas en las cuales los resultados nunca son completamente satisfactorios: el psicoanálisis, gobernar y educar.¹⁸

Ya hemos planteado que cada peldaño de la pirámide de Miller debe ser evaluado con instrumentos pertinentes o específicos. Falta de pertinencia es, por ejemplo, pretender evaluar la profesionalidad o más aún, la idoneidad, en un examen de especialidad, con preguntas de elección de opciones múltiples o exposiciones escritas, las cuales remiten exclusivamente a un saber teórico o, a lo sumo, al “saber cómo”. Nada expresan sobre “demostrar” o “hacer”. El riesgo es evidente. Con conocimientos teóricos, memoria, reconocimiento de respuesta correcta y ejercitación previa, un individuo puede obtener excelentes calificaciones, aunque ello no garantice, en absoluto, la calidad de su praxis profesional. Se trata de un falso positivo, que otorga crédito profesional a quien no lo amerita.

Solemos denominar a esta eventualidad Complejo de Funes el memorioso, cuento célebre de Jorge Luis Borges, en el cual nos relata las vicisitudes de Ireneo Funes, un joven uruguayo de Fray Bentos que, tullido a consecuencia de ser volteado por un redomón, desarrolla una hipermnesia o capacidad memorística extraordinaria, aunque carente de competencias racionales. Borges, perspicaz, escribe: “Sospecho, sin embargo, que no era muy capaz de pensar. Pensar es olvidar diferencias, es generalizar, abstraer”.¹⁹

La práctica de la medicina está estrechamente relacionada con la filosofía. Así, cuando razonamos aplicamos la lógica; al considerar al paciente como un sujeto real y externo a nuestra conciencia, invocamos al realismo ingenuo; cuando aceptamos la existencia de genes, microbios, tecnología y técnicas quirúrgicas, empleamos el realismo científico; al rechazar la hipótesis del origen mítico de las enfermedades, suscribimos a los principios naturalistas y, cuando ayudamos más allá de nuestros propios intereses, practicamos filosofía moral humanista. Filosofamos sin saberlo, pero, como advierte Mario Bunge, “La filosofía tácita del buen médico es la que practica y no, necesariamente, la que dice profesar”. Y es, en este punto, donde la evaluación es crucial e imperiosa.²⁰

El equipo médico estable y docente, en conjunto con la institución, tiene una innegable responsabilidad moral y legal en la evaluación. Así como también el Estado, habida cuenta de que el 70% de las residencias médicas de nuestra especialidad están bajo su égida.²¹ La evaluación entraña un proceso de autoevaluación de las estrategias metodológicas de aprendizaje o metacognición. Una reciente encuesta de la Asociación Argentina de Ortopedia y Traumatología, realizada con médicos residentes, ha identificado y alertado sobre una deficitaria actividad académica como una de las principales inquietudes de los jóvenes en formación.²¹

Los dos instrumentos utilizados en nuestro estudio, Mini-CEX y DOPS, evaluaron el “hacer” o la excelencia profesional. Fueron escogidos ex profeso, en virtud de experiencias previas que los realzan como de mayor impacto educativo en relación con muchos otros.^8,9,11,15,18Permitieron observar las competencias de los residentes en situaciones reales y, en contextos diversos, tanto clínicos como quirúrgicos, así como factores actitudinales y de incorporación horizontal-vertical de conocimientos. A primera vista, la observación de los resultados generales obtenidos fue satisfactoria, pero el análisis estadístico de regresión multivariable permitió identificar, con precisión, fortalezas y debilidades en cada año de la residencia, así como discriminar entre diferentes niveles de experiencia. Un primer corolario para los responsables académicos de una residencia parece obvio: trabajar para corregir esas falencias. Un segundo y, no por ello, menos importante, evidencia lo engañoso de las inferencias descriptivas ante la potencia del método científico. Por otra parte, es relevante señalar que lograr una habilidad óptima en un área, no predice el desenvolvimiento en otra, aunque estas estén relacionadas. Comparado con otras publicaciones, nuestro tiempo de evaluación de cirugías fue mayor debido a la observación completa de los procedimientos.^12,14 Con todo y, en similitud con otras investigaciones, hubo una elevada aceptación o satisfacción, tanto de observadores como de residentes.^{11,12,14,18,22,23} El coeficiente α de Cronbach fue de 0,90 y 0,92 para el DOPS y el Mini-CEX, respectivamente; desde el punto de vista psicométrico, guarismos considerados de altísimo impacto en medición educativa.¹⁸ Aumentar o sostener la confiabilidad es posible, realizando de 4 a 10 encuentros anuales.^{9,13,15,22,23} Además, un segundo motivo que justifica un incremento de observaciones es atenuar, estadísticamente, la patología potencial de los evaluadores: variaciones intraobservador vinculadas a cambios de la atención, de perspectiva o de estado de ánimo. También debemos reconocer variaciones interobservador: diferencias de criterios, de rigor y de empatía.¹⁵

La realimentación es la principal cualidad de ambos instrumentos, especialmente la devolución positiva, ya que promueve la reflexión y la autocrítica por parte del residente, ayuda a identificar sus debilidades y fortalezas.Alves de Lima sostiene que los residentes quieren y necesitan devoluciones constructivas, ya que las relacionan con la enseñanza de calidad.²⁴ La realimentación debe ser inmediata, ya que la demora en su ejecución induce errores de evaluación. Muchos investigadores, entre los cuales nos incluimos, pensamos que es parte de nuestra responsabilidad docente influenciar en el futuro profesional del residente mediante la realimentación constante. Esta última forma parte de la enseñanza socrática, la cual, a pesar de ciertas tensiones actuales, siempre hemos profesado.^9,22 El tiempo dispensado a la devolución con Mini-CEX y DOPS fue de 7 y 8.8 min, respectivamente, pero, en futuras evaluaciones, le concederemos más tiempo por los argumentos ya referidos. Las recomendaciones sugeridas para una realimentación adecuada son: establecer un ambiente de aprendizaje respetuoso, comunicar los objetivos y metas, realimentar a partir de la observación directa, brindar una realimentación oportuna, a tiempo y de forma regular, comenzar la sesión con la autoevaluación del residente, reforzar y corregir los desempeños observados, usar un lenguaje neutral para centrarse en el conocimiento o procedimiento específico, confirmar la comprensión y facilitar la aceptación, concluir con un plan de acción, reflexionar sobre las habilidades de realimentación, crear oportunidades de desarrollo personal y hacer de este procedimiento una cultura institucional.¹⁸

Este estudio tiene varias limitaciones: errores de ejecución relacionados con nuestra primera experiencia con estos instrumentos de evaluación. Por otra parte y, dada la cultura imperante en nuestro medio, resultó poco convincente que el residente no percibiera la evaluación como un examen cuyo resultado pudiera afectar su autoestima o calificación final. Al igual que otros autores, pensamos que, dado el contexto específico de cada institución, no parece recomendable extrapolar, irreflexivamente, hallazgos de una residencia a otra.²³ Por último, deberíamos incrementar el número de observaciones a efecto de sustentar o aumentar la confiabilidad de los instrumentos de evaluación y disminuir potenciales sesgos anómalos de algunos observadores. La fortaleza de esta investigación consistió en utilizar instrumentos de evaluación estructurados en una residencia médica específica, inspirados en el siguiente pensamiento de Horacio, pero divulgado por el excelso filósofo alemán Immanuel Kant:Dimidium facti, qui coepit habet, sapere aude. Incipe.²⁵

En conclusión, el Mini-CEX y el DOPS resultaron herramientas pertinentes y confiables para evaluar el profesionalismo de una Residencia de Ortopedia y Traumatología Infantil, pero ello no implica que sean excluyentes. La conformación de un portafolio que incluya diversas formas de valoración, estructuradas o no, parecería ser el instrumento ideal. La calidad de la evaluación depende prioritariamente de la pertinencia al objeto observado, del tipo de operaciones cognitivas priorizadas y de los sujetos involucrados.

Agradecimiento

A los docentes que participaron en las evaluaciones: Santiago Beltrán, Sebastián Fedriani Roger, Lucía Molina y Gustavo Viollaz.