SciELO - Scientific Electronic Library Online

 
vol.79 número6Neumopericardio posterior a evacuación quirúrgica de derrame pericárdicoCierre percutáneo de fuga paravalvular mitral índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Articulo

Indicadores

  • No hay articulos citadosCitado por SciELO

Links relacionados

  • En proceso de indezaciónCitado por Google
  • No hay articulos similaresSimilares en SciELO
  • En proceso de indezaciónSimilares en Google

Bookmark


Revista argentina de cardiología

versión On-line ISSN 1850-3748

Rev. argent. cardiol. vol.79 no.6 Ciudad Autónoma de Buenos Aires dic. 2011

 

ARTÍCULO ESPECIAL

Mini-CEX: una herramienta que integra la observación directa y la devolución constructiva para la evaluación del desempeño profesional

Mini-CEX: A Method Integrating Direct Observation and Constructive Feedback for Assessing Professional Performance

 

Alberto Alves de LimaMTSAC, 1, Cees Van Der Vleuten2

MTSAC Miembro Titular de la Sociedad Argentina de Cardiología
1 Director de Docencia y Subjefe de Cardiología del Instituto Cardiovascular de Buenos Aires MA, PhD. Professor of Education and Scientific Director of the Graduate School of Health Professions Education at Maastricht University

Dirección para separatas:

Dr. Alberto E. Alves de Lima Instituto Cardiovascular de Buenos Aires Blanco Encalada 1543 (1428) Ciudad Autónoma de Buenos Aires
e-mail: aealvesdelima@icba.com.ar

 


RESUMEN

El mini-CEX (mini clinical evaluation exercise) es un instrumento de evaluación del desempeño profesional a través de la observación directa del residente mientras participa de un encuentro con un paciente, la valoración de una serie de habilidades y destrezas clínicas con posterior provisión de feedback o devolución en su ámbito de trabajo. Se centra en una serie de habilidades que el residente debe demostrar durante el encuentro con un paciente y requiere que el docente documente ese desempeño en seis competencias. Es fácil de aplicar por los docentes porque se integra bien a la rutina del día a día en los diferentes escenarios clínicos. El tiempo estimado de esta interacción no debe superar los 20 minutos y debe repetirse al menos 8 veces al año con cada residente por diferentes docentes.
Es de vital importancia que los docentes definan de antemano qué competencias se van a evaluar y cuáles son los estándares de desempeño mínimo que deberán alcanzar los residentes. La confección de una base de datos con la información de los formularios completados nos permitirá monitorizar el proceso de evaluación y efectuar las medidas correctivas pertinentes.

Palabras clave: Mini-CEX; Observación directa; Devolución constructiva; Feedback; Residentes; Evaluación

SUMMARY

Mini-CEX: A Method Integrating Direct Observation and Constructive Feedback for Assessing Professional Performance

The mini-CEX (mini clinical evaluation exercise) is a tool for the assessment of professional performance of residents through direct observation of resident-patient encounter, evaluating clinical skills and providing subsequent feedback in the work setting. The exam focuses on the evaluation of resident's skills during resident-patient encounter. The evaluator must document resident's performance in six areas of competence. The exam is easy to apply as it fits in real life settings in the different clinical scenarios. The evaluation should not take more than 20 minutes and each resident should have 8 mini-CEX per year of training with different faculties.
Faculties should previously define the areas of competence to evaluate and the minimum performance standards residents should reach. All the completed forms should be used to construct a database in order to monitor the evaluation process and make the necessary corrections.

Key words: Mini-CEX; Direct Observation; Constructive Feedback; R esidents; Evaluation


 

INTRODUCCIÓN

El mini-CEX (mini clinical evaluation exercise) es un instrumento de evaluación del desempeño profesional a través de la observación directa del residente mientras participa de un encuentro con un paciente, la valoración de una serie de habilidades y destrezas clínicas con posterior provisión de feedback o devolución en su ámbito de trabajo. Antes de entrar en detalle en el instrumento es necesario aclarar tres conceptos de la definición de mini-CEX: desempeño profesional, observación directa y feedback o devolución constructiva.

Desempeño profesional

El desempeño profesional competente se define como el grado en que un individuo puede usar sus conocimientos, habilidades y el criterio asociado con su profesión para llevar adelante eficientemente en diferentes escenarios los problemas de su práctica. (1)
El desempeño profesional es multidimensional, es decir que el contacto con los pacientes obliga al médico a integrar y desempeñar de manera organizada diferentes habilidades y destrezas clínicas, como la conducción de la entrevista clínica, el examen físico, el criterio clínico, el profesionalismo o la educación y el consejo al paciente.
El desempeño profesional está fuertemente influido por el contexto. La competencia demostrada en un contexto determinado (unidad coronaria) no garantiza en forma automática un desempeño satisfactorio en otro contexto (ambulatorio). Esto se conoce como la especificidad de contenido del desempeño profesional. Ello implica que si se quiere inferir conclusiones generales sobre la competencia de un residente es necesario llevar adelante evaluaciones a través de diferentes contextos y escenarios y en diferentes casos.
Miller (Figura 1) ilustra claramente en su modelo conceptual sobre el desempeño profesional lo que el docente puede medir en términos de evaluación. (2) Miller conceptualiza el desempeño profesional como una pirámide: la base está compuesta por conocimiento fáctico. Un nivel más arriba, la habilidad para usar el conocimiento en un contexto en particular, el "saber cómo" (know how), este último referido al razonamiento clínico y a la resolución de problemas. Un nivel más arriba, el "mostrar cómo" (show how), que refleja la capacidad del individuo de actuar apropiadamente en una situación práctica y que describe el comportamiento de "manos a la obra" en una situación simulada o de práctica. Finalmente, el nivel superior se refiere al "hacer", es decir, al desempeño real en una práctica habitual. Cuanto más alta se encuentre la habilidad evaluada en la pirámide, más auténtica clínicamente deberá ser la evaluación. Si los docentes desean evaluar a los residentes en el nivel más alto de la pirámide de Miller, necesitarán evaluar su desempeño habitual en su práctica cotidiana. (3)


Figura 1. Pirámide de Miller.

Observación directa

La evaluación del desempeño profesional a través de la observación directa del residente interactuando con el paciente es una herramienta de incalculable valor de aprendizaje. La observación directa aplicada en forma regular facilita, por un lado, el seguimiento longitudinal del residente y, por el otro, permite corregir o reforzar in situ e in vivo acciones o actitudes en su desempeño. (4, 5)
El docente vuelca los resultados de la observación del encuentro en un formulario y usualmente lo califica a través de una escala numérica o una lista de cotejo.
Desafortunadamente, esto ocurre de forma infrecuente e inapropiada. Los formularios de evaluación al final de las rotaciones son completados en general por docentes que no observaron directamente el desempeño del residente.

Feedback o devolución constructiva

La devolución constructiva o feedback se define como el acto de dar información a un residente describiendo su desempeño en una situación clínica observada. Las claves que requiere la devolución para mejorar el desempeño son: la observación de un evento, una apreciación por parte del docente de ese desempeño, siempre de acuerdo con un patrón o estándar previamente establecido y una recomendación para mejorar. (5) El mayor impacto se obtiene cuando el residente compara la devolución del docente con su propio desempeño. La discordancia entre el desempeño deseado y el realizado es un potente generador de motivación y de aprendizaje profundo. El propósito es guiar o mejorar futuros desempeños alineados a los objetivos deseados. (6-8)

HISTORIA DEL MINI-CEX

En 1972, el American Board of Internal Medicine (ABIM) decidió adoptar el Clinical Evaluation Exercise (CEX). El CEX, muy utilizado en nuestro medio académico, en general a fines del año o como final de la carrera de especialista, consiste en un examen oral al lado de la cama del paciente. (9) En su forma tradicional, un docente observa al residente mientras éste efectúa el interrogatorio, examina al paciente, presenta los hallazgos y la estrategia diagnóstico-terapéutica correspondiente. Al final del proceso, el docente le transmite al residente una devolución de acuerdo con su desempeño. Todo el ejercicio dura alrededor de 2 horas. Como método de evaluación, este tipo de examen tiene tres problemas centrales. Primero, el residente es evaluado sólo por un docente. Sabemos que existe una acentuada discordancia entre los criterios de los docentes. (10-13) Segundo, el residente es evaluado en base a un solo paciente. Sabemos que los problemas de los pacientes varían enormemente unos de otros. Desde el problema de la especificidad de contenido, el ser competente en un caso no predice la competencia en otros. (9) Y tercero, el hecho de que tenga una duración tan prolongada atenta contra su aplicación.

Qué es el mini-CEX

El mini-CEX se centra en una serie de habilidades que el residente debe demostrar durante el encuentro con un paciente y requiere que el docente documente ese desempeño en seis competencias. El mini-CEX es fácil de aplicar por los docentes porque se integra bien a la rutina del día a día en los diferentes escenarios clínicos. El tiempo estimado de esta interacción no debe superar los 20 minutos y debe ser repetido al menos 8 veces al año con cada residente por diferentes docentes. Un solo docente observa y evalúa a un residente mientras realiza una historia clínica y un examen físico a un paciente internado o ambulatorio. Luego de solicitarle al residente que realice un diagnóstico y que indique al paciente el tratamiento a seguir, el docente completa un breve formulario de evaluación y le da una devolución al residente sobre su desempeño. Teniendo en cuenta que el encuentro es relativamente breve y que se lleva a cabo naturalmente como parte del proceso de entrenamiento, es muy factible que cada residente pueda ser evaluado en varias ocasiones por diferentes docentes durante el programa de residencia.
Para evaluar cada una de las seis competencias se utiliza una escala numérica de 1 al 9 en donde el 4, si bien formalmente representa una calificación satisfactoria, denota un desempeño borderline o marginal y que el residente debe mejorar para que pueda alcanzar los objetivos mínimos para su certificación como especialista.
El mini-CEX permite evaluar las siguientes competencias:
- Habilidades para la conducción de la entrevista médica: facilita al paciente el relato de lo que le ocurre a través del uso eficaz de las preguntas e instrucciones precisas a fin de obtener la información que necesita en forma precisa y adecuada; responde apropiadamente a las señales afectivas verbales y no verbales.
- Habilidades para la conducción del examen físico: sigue una secuencia eficiente y lógica; busca el equilibrio entre los pasos de detección-diagnóstico del problema; brinda información al paciente; muestra sensibilidad al bienestar y pudor del paciente.
- Cualidades humanísticas / profesionalismo: muestra respeto, compasión, empatía; genera confianza; atiende las necesidades del paciente en cuanto a bienestar, pudor, confidencialidad e información.
- Criterio clínico: ordena selectivamente, lleva a cabo estudios diagnósticos en forma apropiada, considera los riesgos y los beneficios.
- Habilidades para el asesoramiento del paciente: explica los fundamentos del estudio / tratamiento, obtiene el consentimiento del paciente; instruye / aconseja con respecto a la conducta a seguir.
- Organización / eficiencia: prioriza; es oportuno; sucinto.
El desempeño del residente se evalúa a través de un escala numérica de 1 a 9, en donde 1, 2 y 3 indican desempeño insatisfactorio, 4 marginal o borderline, 5 y 6 desempeño satisfactorio y 7, 8 y 9 desempeño destacado. Adicionalmente a los datos numéricos del desempeño, el formulario permite recabar datos del paciente como edad, sexo, motivo de internación o consulta, si el paciente es de primera vez o se trata de un seguimiento, el lugar en donde se realiza la observación del encuentro, la complejidad del caso y si durante el encuentro se ha hecho más hincapié en cuestiones vinculadas a la recolección de datos, al diagnóstico, al tratamiento o a la comunicación entre el residente y el paciente (Anexo).

Características psicométricas

La utilidad de una herramienta de evaluación es directamente proporcional a su validez, a su reproducibilidad, al impacto educativo, a la aceptación por los docentes e inversamente proporcional a los costos.
Hasta el momento se encuentran publicados varios estudios que demostraron que el mini-CEX es una herramienta válida, con niveles de reproducibilidad adecuados (sobre la base de al menos 8 encuentros al año evaluados por docentes diferentes), con impacto educativo favorable y aceptación satisfactoria por parte de docentes y alumnos. (10, 14-17)

Estrategias de implementación

La introducción y la aplicación de cualquier instrumento de evaluación requiere la aceptación de los docentes. Esto es particularmente importante en las evaluaciones basadas en la observación directa del desempeño profesional, en la que el valor de la evaluación parece estar más determinada por los que las aplican que por el instrumento en sí mismo. (18)
Los descriptores de las competencias deben ser discutidos y consensuados previamente por los docentes. Al momento de introducir el mini-CEX en una residencia es esencial que los directores del programa y los docentes involucrados en la evaluación del desempeño definan estándares mínimos de desempeño para cada año de entrenamiento con el fin de facilitar la evaluación longitudinal de cada uno de los residentes.
Esto tiene particular importancia cuando el mini- CEX se aplica con carácter sumativa, es decir, cuando define la aprobación o no aprobación del residente de una rotación o un período de estudio. Muchos docentes no desaprueban a los residentes incluso cuando han juzgado que el desempeño no fue satisfactorio. Un estudio cualitativo, llevado a cabo con 17 docentes del Instituto Cardiovascular de Buenos Aires mostró que los docentes consideraron que estaban escasamente informados e insuficientemente preparados para evaluar todas las competencias del mini-CEX. (19) Esto se observó especialmente en los casos de residentes con desempeño limítrofe, que se tradujo en dificultades al momento tomar decisiones de aprobar o desaprobar.
Por otro lado, los vínculos interpersonales e institucionales constituyeron una barrera adicional a la hora de desaprobar a un residente.
Una vez que se inicia la aplicación del instrumento, el proceso es el siguiente: el residente le pide al docente que observe y valore su próxima entrevista o el docente coordina con el residente la hora y el lugar para llevar adelante la observación del encuentro. (20) Lo ideal es que esto ocurra al menos 8 veces al año con docentes distintos. Una tercera opción es que los encuentros sean programados por la secretaria de docencia de la institución. Es recomendable confeccionar formularios de bolsillo o distribuirlos en sectores estratégicos de los diferentes ámbitos en donde podrían realizarse las observaciones. Luego de la observación, el docente completa el formulario y da feedback en forma inmediata (Tabla 1).

Tabla 1. Pasos para la implementación

Además de los datos que evalúan el desempeño del residente en los diferentes dominios, el mini-CEX permite recabar una serie de datos adicionales que son de gran valor: el problema del paciente, el ámbito en donde se realiza la observación (ambulatorio, sala de emergencia, unidad coronaria, etc.), la edad y el sexo del paciente, si es un paciente de primera vez o de seguimiento, el grado de complejidad, es decir, la percepción subjetiva del docente en relación con el grado de gravedad o complejidad del problema y, por último, en qué aspecto del encuentro se ha hecho más hincapié, es decir, en la recopilación de datos, en las estrategias diagnósticas, en el plan terapéutico o en el asesoramiento o educación del paciente.
Es recomendable la confección de una base datos que incluya toda la información reunida en los formularios con el fin de que se pueda analizar. Esto nos permitirá reflexionar sobre el desempeño de los residentes, así como determinar si han sido expuestos a situaciones representativas de la práctica real del día a día.
En una experiencia con 253 encuentros de mini- CEX llevados a cabo en la Sociedad Argentina de Cardiología en la que participaron 108 residentes se observó que los principales problemas del paciente que se utilizaron para la evaluación eran agudos (síndromes coronarios agudos, insuficiencia cardíaca aguda y posoperatorio de cirugía cardíaca), que el 80% de los escenarios de evaluación correspondían a la unidad coronaria y el piso de internación y que la complejidad de los pacientes era alta o mediana en más del 90% de los encuentros. (16) Está demostrado que la evaluación modela el estilo de aprendizaje de los residentes. Si medimos el desempeño de los residentes sobre la base de pacientes agudos, internados en áreas críticas, estaremos modelando residentes cuya mayor habilidad será el cuidado de pacientes con problemas poco prevalente y de alta complejidad.

CONCLUSIÓN

El mini-CEX es un instrumento válido y confiable para la evaluación del desempeño profesional cuando se utiliza en forma apropiada. Promueve la observación directa y la devolución constructiva en el ámbito real de la práctica clínica. Se ha aplicado extensamente en varios países del mundo para evaluar el desempeño profesional, en particular durante el período de residencia y ha tenido gran aceptación por docentes y alumnos. Se ha utilizado especialmente para evaluaciones de tipo formativas, pero sus propiedades psicométricas indican que es razonable utilizarlo con fines sumativos (siempre y cuando el número de encuentros sea suficientemente grande).
Es de vital importancia que los docentes definan de antemano qué competencias se van a evaluar y cuáles son los estándares de desempeño mínimos que deberán alcanzar los residentes. La confección de una base de datos con la información de los formularios completados nos permitirá monitorizar el proceso de evaluación y efectuar las medidas correctivas pertinentes.

ANEXO. Planilla de aplicación

Ejercicio de Examen Clínico Reducido (mini-CEX)


BIBLIOGRAFÍA

1. Kane MT. The assessment of professional competence. Eval Health Prof 1992;15:163-82.         [ Links ]

2. Miller G. The assessment of Clinical Skills/Competence/Performance. Acad Med 1990;9:S63-7.         [ Links ]

3. Van der Vleuten C. Validity of final examinations in undergraduate medical training. BMJ 2000;321:1217-9.         [ Links ]

4. Holmboe ES. Faculty and the observation of trainees' clinical skills: problems and opportunities. Acad Med 2004;79:16-22.         [ Links ]

5. Alves de Lima A. Observación directa del desempeño del residente: Una práctica en desuso. Rev Argent Cardiol 2005;73:39-43.         [ Links ]

6. Alves de Lima A. Devolución constructiva: Una estrategia para mejorar el aprendizaje. Medicina 2008;68:88-92.         [ Links ]

7. Carr S. The Foundation Programme assessment tools: An opportunity to enhance feedback to trainees. Postgrad Med J 2006;82:576-9.         [ Links ]

8. Jack Ende M. Feedback in clinical medical education. JAMA 1983;250:777-81.         [ Links ]

9. Norcini J, Blanck L. The Mini-CEX (Clinical Evaluation Exercise). A Preliminary Investigation. Ann Intern Med 1995;123:795-9.         [ Links ]

10. Norcini J, Fortna G. The Mini-CEX: A Method for assessing clinical skills. Ann Intern Med 2003;138:476-81.         [ Links ]

11. Van der Vleuten CP, Norma G, Graff E. Pitfalls in the pursuit of objectivity: issues of realiability. Medical Education 1991;25:110-8.         [ Links ]

12. Noel GL, Herbers JE. How well do internal medicine faculty members evaluate the clinical skills of residents? Ann Intern Med 1992; 117:757-65.         [ Links ]

13. Kalet A, Earp JA. How well do faculty evaluate the interviewing skills of medical students. J Gen Intern Med 1992;97:179-84.         [ Links ]

14. Durning SJ, Cation LJ, Markert RJ, Pangaro LN. Assessing the reliability and validity of the mini-clinical evaluation exercise for internal medicine residency training. Acad Med 2002;77:900-4.         [ Links ]

15. Alves de Lima A. A qualitative study of the impact on learning of the mini clinical evaluation exercise in postgraduate training. Medical Teacher 2005;27:46.         [ Links ]

16. Alves de Lima A. Validity, reliability, feasibility and satisfaction of the Mini-Clinical Evaluation Exercise (Mini- CEX) for cardiology residency training. Medical Teacher 2007;29:785.         [ Links ]

17. Kogan J, Holmboe E, Hauer K. Tools for direct observation and assessment of clinical skills of medical trainees. JAMA 2009;302:1316-26.         [ Links ]

18. Van der Vleuten CP, Schuwirth LW; Scheele F, Driessen EW, Hodges B. The assessment of professional competence: building blocks for theory development. (Under editorial review).         [ Links ]

19. Alves de Lima A, Conde D, Aldunate L, Van del Vleuten C.P.M .. Teacher´s experiences of the role and function of the mini clinical evaluation exercise in postgraduate Training. Int. J. Medical Education. 2010; 1:68-73.         [ Links ]

20. American Board of Internal Medicine. Evaluating clinical competence in internal medicine. http://www.abim.org/pdf/papertools/ Resident.pdf (21 Marzo 2010)        [ Links ]