COMENTARIOS EDITORIALES

La importancia de la evaluación de los residentes. ¿Qué, cómo y cuándo evaluar?

Dr. Julio Busaniche*

* Servicio de Clínica Pediátrica. Departamento de Pediatría. Hospital Italiano de Buenos Aires.

Correspondencia: Dr. Julio Busaniche. julio.busaniche@hospitalitaliano.org.ar

En este número de Archivos Argentinos de Pediatría se publican, luego de varios años, dos artículos sobre la evaluación de las competencias clínicas en residentes de pediatría: "Interpretación de radiografías de cráneo de niños menores de 2 años con traumatismo craneoencefálico por médicos residentes del último año" (Bettendorff y col.¹) y "Examen clínico estructurado objetivo para residentes de pediatría. Presentación de una experiencia" (Bustos y col.²). Los últimos artículos relacionados con el tema se publicaron en el volumen 96, de 1998: "Criterio médico. Definición, proceso y evaluación, (1ª y 2ª partes)" de la Lic. Shirley Dresch y col.
Bettendorff y col., en Córdoba, y Bustos y col., en Buenos Aires, comparten la experiencia de la evaluación en residentes de poblaciones diferentes y con distintos instrumentos de evaluación, pero con un objetivo común explicitado en ambos trabajos: mejorar los programas de formación de residentes y el cumplimiento de sus objetivos. Se trata, sin duda, de la principal utilidad de un sistema de evaluación, que debería ser pensado desde la propuesta de los objetivos del programa de residencias y desarrollarse a través del programa y no sólo al final, para evaluar si se ha alcanzado el objetivo. La evaluación es, asimismo, una instancia adicional de aprendizaje para los residentes.
En este sentido, en el trabajo de Bustos y col. se especifica claramente que se evaluaron objetivos planteados en el programa de residencia de primer año, con muy buena aceptación del método por parte de los residentes; en cambio, en el trabajo de Bettendorff y col., quizás por lo heterogéneo de la población estudiada (residentes de distintas instituciones), no se menciona si la evaluación de radiografías de cráneo es parte de alguno de los programas de formación. Esto se mide indirectamente, casi el 60% de los residentes refieren que la formación-información fue escasa o nula.
Uno de los grandes interrogantes en la evaluación de la competencia clínica es qué instrumento de evaluación se debe implementar. Determinarlo exige tener en claro qué se quiere evaluar y los recursos disponibles para tal fin. Actualmente, se acepta en forma creciente que son necesarios varios y distintos instrumentos de evaluación para explorar diferentes niveles de competencia. Miller,³ en 1990, describe la competencia clínica como una pirámide, la base corresponde al "saber" y al "saber cómo" (el saber en un contexto particular), en un nivel superior se demuestra "capaz de hacer" y en el vértice "hace" en un contexto real. Cada instrumento de evaluación explora un nivel de la pirámide que a medida que progresa se hace más auténtico pero también más costoso y difícil de implementar.
Bettendorff y col. utilizaron dos instrumentos que evalúan los dos primeros niveles de la pirámide. Mediante el examen de opción múltiple exploran los conocimientos ("sabe") sobre el manejo del trauma craneal. El examen de opción múltiple, ampliamente difundido en los ambientes de formación, posee ventajas: confiabilidad, validez y bajo costo, pero en general tiene poco impacto educacional. La evaluación de la radiografía de cráneo acompañada de una viñeta clínica podría corresponder a una prueba con formato rico en contexto con pregunta abierta, cuyas ventajas son las mismas que las del examen de opción múltiple y, además, presenta mejor impacto educacional y explora un nivel más alto en la escala de Miller: el "saber cómo". Llama la atención, como remarcan los autores, la diferencia en los resultados de las pruebas. Quizás, esto se explique porque se evaluaron distintas competencias clínicas y diferentes problemas.
Bustos y col. utilizaron otro instrumento, el examen clínico objetivo y estructurado (ECOE), mucho más complejo en el diseño e implementación, pero que permite explorar el nivel siguiente de competencia: si el residente "es capaz de hacer" en una situación que se sabe es ficticia. Este método tiene muy buena confiabilidad y validez y mejora el impacto educacional, hecho que los propios residentes reconocen en el trabajo. Sin embargo, tiene algunas limitaciones; primero, el costo y la logística: se deben crear situaciones en estaciones con actores, es largo y requiere mucho personal docente para evaluar objetivos. Por otro lado, como comentan los autores, se requieren varias estaciones (más de 13, de 15 minutos cada una) para que el método sea confiable⁴. Llama la atención el mal rendimiento en la estación interactiva, por lo menos el 50% de los residentes no logró objetivo alguno, un hecho que amerita un análisis más profundo.
El nivel superior de la pirámide de Miller, el ser capaz de "hacer" en un contexto real, puede ser evaluado con el ejercicio de examen clínico reducido (EECR) que se centra en las habilidades que los residentes demuestran en el encuentro con el paciente y en donde el docente utiliza un formulario breve y estructurado durante la observación directa o por video. Para que sea confiable se necesitan al menos 10 observaciones por año, por residente. ^5,6
Independientemente de los métodos utilizados particularmente en estos trabajos, lo cierto es que la evaluación debe ser valorizada desde la confección de los programas de formación; debe haber recursos humanos, económicos y logísticos destinados a implementarla, ya que mejoran la formación en sí misma. Deberíamos usar diferentes métodos en una amplia gama de situaciones para evaluar distintas características de las competencias. La devolución de los resultados a los residentes forma parte de la evaluación y le da sentido.
La formación en distintos métodos de evaluación por parte de los responsables del programa es necesaria entonces para conocer sus capacidades y limitaciones y para utilizar los métodos oportunamente. Por otro lado, el empleo de un solo método de evaluación llevaría a la aparición y mantenimiento de "incompetencias" en los alumnos, como describe Hodges,⁷ quien recomienda, entre otras cosas, integrar temprana y frecuentemente en la enseñanza y en la evaluación conocimientos y habilidades anclados en contexto.
La publicación de este tipo de trabajos enriquecerá no sólo la evaluación de los residentes sino también la de los programas de formación de recursos en pediatría.

BIBLIOGRAFÍA

1. Bettendorff MC, Calvo B y Halac E. Interpretación de radiografías de cráneo de niños menores de 2 años con traumatismo craneoencefálico por médicos residentes del último año. Arch Argent Pediatr 2007;105(4):299-304.

2. Bustos M, Chiolo MJ, Cutri A y col. Examen clínico estructurado objetivo para residentes de pediatría. Presentación de una experiencia. Arch Argent Pediatr 2007;105(4):333-336.

3. Miller GE. The assesment of clinical skills/competence/ performance. Acad Med 1990;65(9 Suppl):S63-7.

4. Durante E. Algunos métodos de evaluación de las competencias: Escalando la pirámide de Miller. Rev. Hosp. Ital. B. Aires 2005; 26 (2): 55-61.

5. Alves de Lima A. Claves para la evaluación efectiva del residente. Rev. Hosp. Ital. B.Aires 2005;25 (1): 18-23.

6. Castillo Costa Y, Alves de Lima A. Ejercicio de examen clínico reducido (EECR): una herramienta para evaluar la competencia clínica. Resultados preliminares. Rev Argent Cardiol 2004; 72 (Sup 3): 174, Resumen 251.

7. Hodges B. Medical education and the maintenance of incompetence. Med Teach 2006; 28 (8): 690-696.