SciELO - Scientific Electronic Library Online

 
vol.109 número6Crecimiento, desarrollo, integración social y prácticas de crianza en niños que viven con sus madres en prisiónValidación de una regla de predicción simplificada para la presunción de etiología en niños con neumonía índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Artigo

Indicadores

  • Não possue artigos citadosCitado por SciELO

Links relacionados

  • Em processo de indexaçãoCitado por Google
  • Não possue artigos similaresSimilares em SciELO
  • Em processo de indexaçãoSimilares em Google

Bookmark


Archivos argentinos de pediatría

versão impressa ISSN 0325-0075

Arch. argent. pediatr. vol.109 no.6 Buenos Aires nov./dez. 2011

http://dx.doi.org/10.5546/aap.2011.492 

ARTICULO ORIGINAL

Evaluación por competencias en formación de posgrado: implementación de una adaptación pediátrica del Examen de Ejercicio Clínico Reducido (Mini-Cex)

Assessment of competence in pediatric postgraduate education: implementation of a pediatric version of the Mini-Cex

 

Dra. Gabriela Urmana, Dra. Silvana Folguerala, Dra. Mercedes Gasparria, Dra. Diana Lópeza, Dr. Jorge Urmana, Dr. Arnoldo Grosmana y Dr. Alberto Alves de Limab

a.  Carrera de Especialización en Pediatría, Universidad Maimónides. Buenos Aires.
b.  Instituto Cardiovascular de Buenos Aires.

Correspondencia: Dra. Gabriela Urman: gurman@api.org.ar

Conflicto de intereses: Ninguno que declarar.

Recibido: 7-7-2011
Aceptado: 21-10-2011

 


RESUMEN

Introducción. La observación directa de los alumnos por parte de distintos docentes en forma periódica, en diversos escenarios y en tiempo real, tiene gran valor en el proceso de formación.
Objetivos. Evaluar la factibilidad en la implementación de una versión del Ejercicio de Examen Clínico Reducido adaptada a Pediatría, describir las evaluaciones realizadas según el ámbito de observación, la complejidad del paciente, el foco del encuentro y la situación pediátrica, y conocer la satisfacción de docentes y alumnos con respecto a esta herramienta.
Método. Participaron en forma voluntaria todos los docentes y alumnos de la carrera. Las observaciones tenían carácter formativo. Las competencias evaluadas fueron: habilidades para la conducción de la entrevista, para el examen físico, para el asesoramiento, profesionalismo, criterio clínico, efciencia y competencia clínica global. Se defnió la factibilidad del estudio como la posibilidad de realizar cuatro observaciones en al menos 70% de los participantes y que se llevaran a cabo observaciones en todas las áreas de rotación.
Resultados. Se realizaron 388 observaciones. Participaron 54 alumnos y 50 docentes. Se realizaron 7,18 observaciones por participante, en el ámbito ambulatorio en el 57% y con baja complejidad en el 60% de los casos. El 85% de los participantes fueron observados mientras conducían una consulta de supervisión en salud. La califcación por competencia específca fue uniforme. El foco del encuentro presentó variaciones según el ámbito de observación. Docentes y alumnos se mostraron satisfechos.
Conclusión. El instrumento pudo aplicarse con la frecuencia preestablecida, en los ámbitos programados y fue bien aceptado.

Palabras clave: Educación médica; Posgrado; Pediatría; Competencias; Observación directa; Mini-Cex.

SUMMARY

Aims. Faced with the increased challenge of assessing competences in young doctors, the purpose of the study was to evaluate the implementation of a pediatric version of the Mini-Cex in pediatric trainees as well as the level of satisfaction of teachers and students with the new assessment tool.
Methods and results. From July 2007 to August
2009, 54 pediatric trainees were periodically monitored in a variety of clinical settings by 50 teachers. The competences evaluated included medical interviewing, physical examination and counseling skills, humanistic qualities/ professionalism, clinical judgment, organization and overall clinical competence. The feasibility of this study was defned as an average 4 observations per participant, and observations in all clinical rotations. During the study, 388 observations were carried over 54 students (average of 7.18 observations per student); 57% took place in ambulatory settings, 60% were of low complexity and 85% involved healthy children programmed consultations. The ratings for specifc competences had little variation; the focus related to the setting.
Conclusions. Used in a variety of settings, with different patient problems, the method was well accepted by both students and teachers.

Key words: Medical education; Posgraduate; Pediatrics; Competences; Direct observation; Mini-Cex.


doi:10.5546/aap.2011.492

 

INTRODUCCIÓN

En los últimos años se han producido cambios fundamentales en la educación médica. Se ha pasado de un paradigma basado en el docente y en los conocimientos que éste imparte a otro centrado en el estudiante y en las competencias que se deben adquirir.1,2 La evaluación no contempla sólo los conocimientos, sino cómo se aplica este conocimiento en la práctica del día a día.3
La competencia profesional en las ciencias de la salud ha sido definida como una combinación de conocimientos, habilidades y actitudes que permiten el desempeño adecuado y oportuno en una tarea determinada.2 Para saber si alguien es competente es indispensable observarlo. No se es competente cuando solo se sabe "có
mo se debe hacer", sino cuando "se hace eficazmente y de manera adecuada".19 Por su carácter multidimensional, la evaluación de la competencia es un desafío educativo complejo.4
La observación directa de los alumnos por parte de distintos docentes en forma periódica, en diversos escenarios y en tiempo real, es una herramienta de gran valor en el proceso de formación-evaluación.5,6 Tradicionalmente, este tipo de evaluación se realizaba mediante exámenes prácticos tomados junto a la cama del paciente, que evaluaban el rendimiento con un solo paciente, en una única situación clínica y por un solo evaluador, quedando la calificación final a merced de las diferentes exigencias de los distintos docentes.7,8
El Ejercicio de Examen Clínico Reducido (EE-CR o en inglés Mini-Cex) es un método de evaluación del desempeño profesional que se centra en las habilidades básicas que el alumno demuestra en el encuentro con el paciente en el contexto donde se desempeña día a día. El docente observa al alumno en una situación clínica real, en distintos ámbitos, durante alrededor de 15-20 minutos. Las competencias evaluadas son: habilidades para la conducción de la entrevista, examen físico, cualidades humanísticas y profesionalismo, criterio clínico, educación al paciente y a la familia, y organización y eficiencia. La observación queda registrada en un formulario.10
ón concluye con una instancia de devolución constructiva o feedback que el evaluador debe aprovechar para dar recomendaciones, promover la autorreflexión identificando áreas por corregir y definiendo un plan de acción que contribuya a mejorar las habilidades del estudiante.11,12 Su principal ventaja radica en que permite realizar evaluaciones en situaciones clínicas reales, cotidianas, de variada complejidad y en distintos ámbitos, a la vez que resulta un buen complemento para otros instrumentos utilizados que evalúan solo conocimiento y razonamiento (preguntas de elección múltiple, simuladores, 9,10,12

OBJETIVOS

El propósito de este estudio es evaluar la factibilidad en la implementación de una versión del Ejercicio de Examen Clínico Reducido adaptada a Pediatría describiendo las evaluaciones realizadas según el ámbito de observación, la complejidad del paciente, el motivo de consulta y el foco del encuentro, y conocer la satisfacción de docentes y alumnos con respecto a esta modalidad de evaluación.

MATERIALES Y MÉTODOS

En el año 2007 se decidió implementar un instrumento de evaluación formativa, basado en la observación directa del desempeño, denominado Examen de Ejercicio Clínico Reducido-Pediátrico (en adelante EECR-P) en la Carrera de Especialista en Pediatría de la Universidad Maimónides. Para esto, se adaptó una versión previamente validada al castellano por Alves de Lima y cols.6
Participaron de la investigación todos los cursantes de la Carrera de Especialista en Pediatría. La participación fue voluntaria. Se distribuyeron instrucciones escritas sobre la aplicación del EECR-P.
Se convocó en forma voluntaria a todos los docentes de la carrera para participar como evaluadores. Todos aceptaron participar. Las funciones asistenciales de los docentes evaluadores fueron médicos de planta, de guardia o de consultorio. Se llevó a cabo un entrenamiento y capacitación de los docentes por medio de talleres en los que se presentó y discutió el instrumento, definiendo qué era lo que específicamente se debía observar en cada dominio y cuáles eran los requerimientos mínimos para la aprobación. Se entregó bibliografía y un instructivo sobre el instrumento. Para la evaluación de las competencias se entregó un listado detallado de los descriptores comprendidos dentro de cada dominio o competencia por analizar, según cada ámbito clínico (sala, consultorio, guardia, neonatología).
Para cada EECR-P un solo docente observa y evalúa a un estudiante mientras este último conduce la entrevista médica, realiza la historia clínica y el examen físico a un paciente internado o ambulatorio. Se registra la fecha, la complejidad del problema que presentaba el paciente, si la consulta era de primera vez o de seguimiento, el ámbito donde se llevó a cabo, el tiempo de observación y de devolución, y si el foco del encuentro estuvo puesto en la recopilación de datos, el diagnóstico, el tratamiento o el asesoramiento al niño y su familia. Luego de solicitarle al estudiante que realice un plan para el manejo del caso, el docente completa un breve formulario de evaluación y directamente realiza la devolución sobre el resultado.
Los evaluadores obtuvieron las calificaciones teniendo en cuenta seis componentes de la competencia clínica:

  1. Habilidades para la conducción de la entrevista médica.
  2. Habilidades para la conducción del examen físico.
  3. Cualidades humanísticas/profesionalismo.
  4. Criterio clínico.
  5. Habilidades para el asesoramiento del paciente y la familia.
  6. Organización/eficiencia.
  7. Competencia clínica global. (Ver Anexo 2).

El régimen de calificaciones se llevó a cabo en base a una escala de Likert de 9 puntos, definiéndose de 1 a 3 como insuficiente, 4 a 6 satisfactorio y 7 a 9 sobresaliente. Se incluyó también una casilla para que el examinador pudiera seleccionar la opción "contacto insuficiente para evaluar", de modo que no todas las competencias tenían que ser observadas en cada evaluación. (Anexo 1. Planilla de evaluación).
Para el presente estudio y en función de las recomendaciones bibliográficas disponibles, se definió factibilidad como la posibilidad de realizar cuatro EECR-P17 en al menos 70% de los participantes y que se llevaran a cabo observaciones en todas las áreas donde rotan los estudiantes.
La satisfacción de alumnos y docentes fue medida mediante una escala de Likert de 1 a 9 puntos utilizada en las planillas estandarizadas.

RESULTADOS

Durante el período de estudio (julio de 2007 a agosto de 2009) se realizaron 388 observaciones utilizando el EECR-P. Participaron 54 alumnos (24 de primer año, 22 de segundo y 8 de tercero) y 50 docentes. Del total de las observaciones, 62% correspondían a alumnos que cursaban el primer año de la carrera, 28% el segundo año y 10% el tercero.
En promedio se realizaron 7,18 evaluaciones por alumno y un 79,5% de los participantes tuvo 4 o más observaciones (31,5% tuvo 6 o más observaciones, 48% tuvieron 4 o 5 observaciones). Los docentes seleccionados para participar realizaron en promedio 7,76 evaluaciones cada uno (valor mínimo de 2 y máximo de 34).

El ámbito en que se llevaron a cabo las evaluaciones fue ambulatorio en el 57% de los casos (85% en consultorio externo y 15% en guardia). En el área de internación, que corresponde al 43% de las observaciones restantes, el 85% se realizaron en sala de internación pediátrica y 15% en neonatología (aquí el 91% se efectuó en internación conjunta con recién nacidos sanos).
Los pacientes fueron clasificados como de baja complejidad en el 60% de los casos, de moderada complejidad en el 31% y de alta complejidad en el 2%. Los problemas clínicos que presentaban los pacientes mostraron un amplio espectro, pero la categoría registrada con mayor frecuencia fue la supervisión en salud (30,15% de los casos). La patología de vías aéreas representó un 25,2% de los casos, seguida por gastroenteritis, lesiones no intencionales, dolor abdominal, enfermedades exantemáticas, infecciones de piel y partes blandas, y patología oncohematológica.
Se encontró que el énfasis o foco del encuentro estuvo puesto principalmente en la recopilación de datos (habilidades para la anamnesis y el examen físico). En orden decreciente siguieron la educación al paciente, el diagnóstico y, por último, el tratamiento. Mientras que en sala de internación el foco estuvo puesto en el diagnóstico del paciente en el 41% de los casos y en el asesoramiento a la familia en 18% de ellos; en la consulta ambulatoria programada se dio una situación inversa en la que el énfasis estuvo puesto en el asesoramiento a la familia en un 62% de los casos, y en el diagnóstico en el 32% de ellos.
Al analizar las calificaciones que obtuvieron los estudiantes en cada competencia específica (Tabla 1), se observó bastante uniformidad en los resultados con un desempeño altamente satisfactorio. La frecuencia con que cada competencia era medida mostró variaciones; mientras que habilidades como "examen físico" y "organización
y eficiencia" se evaluaron en más del 90% de las observaciones, la habilidad "competencia global" se evaluó solo en el 58% de los casos.

Tabla 1. Calificación por competencia específica

La satisfacción tanto de estudiantes como de docentes fue medida en forma inmediata luego de cada instancia de evaluación a través de una escala numérica (de 1 a 9). El valor promedio obtenido fue similar en ambos grupos y altamente satisfactorio (puntaje medio de docentes: 8,10; y de alumnos: 8,23).

DISCUSIÓN Y CONCLUSIONES

Diversos autores han publicado estudios que han demostrado que este instrumento es confiable y tiene alta consistencia interna.13-16 Durning y cols., en el año 2002 hallaron que con un promedio de 7 observaciones por residente, la confiabilidad daba un valor razonable de 0,56, con una consistencia interna excelente (coeficiente alfa 0,9).19 Norcini y cols. en el año 2003 condujeron 1228 observaciones en 421 residentes y obtuvieron resultados confiables con un buen nivel de aceptación por parte de los participantes.13 En el año 2007, Alves de Lima y cols. realizaron 253 observaciones con 108 residentes y concluyeron que el instrumento era válido para distinguir entre residentes de distintos años.20
A diferencia de otras publicaciones, en nuestro caso la mayoría de las observaciones tuvieron lugar en el ámbito ambulatorio y con pacientes de baja complejidad, y cada docente realizó en promedio 7,7 observaciones. En el caso de Norcini y cols., 61% de las observaciones fueron en internación, un 80% de los pacientes fueron clasificados como de moderada o alta complejidad y más de un tercio de los docentes realizaron solo una evaluación.13 En la serie publicada por Balakrishnan y cols., el 62% de las observaciones fueron en internación y el 86% de los casos fueron de moderada o alta complejidad.9 Kogar y cols.18 comunicaron que el ítem "Competencia global" fue evaluado en el 90% de los casos. En relación a esta diferencia, interpretamos que dado que los docentes eligen qué habilidades evaluar en cada observación, existían dificultades en la interpretación de este descriptor. Esto motivó encuentros para discutir con los docentes acerca de esta dificultad y se produjeron modificaciones en el instructivo.
Tal como se observa en publicaciones de otros autores, la modalidad de evaluación fue bien aceptada tanto por alumnos como por docentes, especialmente la devolución constructiva.13,15 Norcini refiere altos índices de satisfacción entre los 316 evaluadores,13 Alves de Lima y cols. encontraron altos niveles de satisfacción entre resi
dentes (8,08) y docentes (8,06). La aceptación por parte de alumnos y docentes de los instrumentos de evaluación es clave, ya que se ha visto que los métodos poco aceptados tienden a ser descartados con el tiempo.15,21
Concordando con los objetivos planteados para la enseñanza de la Pediatría,22 la mayoría de las observaciones tuvieron lugar en el área ambulatoria y con pacientes sanos que concurrían a su control de salud. En los demás casos, los problemas presentados por los pacientes reflejaron los motivos más frecuentes de la consulta pediátrica.
La evaluación de competencias durante la formación de posgrado de pediatría con el EECR-P fue factible, con 79,5% de los alumnos observados al menos 4 veces durante el período estudiado, con un 57% de evaluaciones en ámbitos ambulatorios, 60% con pacientes de baja complejidad. Se realizaron observaciones en todos los ámbitos por los que rotan los estudiantes. El instrumento fue bien aceptado por estudiantes y docentes.
Algunas limitaciones de nuestro estudio podrían ser que un 60% de los evaluadores eran médicos clínicos sin entrenamiento formal en educación médica, y que, en cierta medida, la mayor o menor participación de cada docente tuvo que ver con la motivación por participar del proyecto. El hecho de que algunos autores fueran evaluadores pudo incurrir en generar un sesgo mejorando la factibilidad y la volaracion de la satisfacción del instrumento. Se utilizó una evaluación de máximo desempeño que es a su vez formativa. Si tenemos en cuenta, además, que esta evaluación no otorgaba constancias ni certificados, bien podría haber afectado la percepción de los estudiantes e influido en sus índices de satisfacción.
El EECR pediátrico se presenta como una herramienta que permite realizar continuas observaciones en situaciones reales, cotidianas, realizadas por diferentes evaluadores, requiriendo un tiempo aceptable, todo lo cual proporciona un panorama general del aprendizaje del alumno y, al mismo tiempo, resulta un excelente estímulo para los estudiantes, que se reconocen evaluados en forma continua, y con una devolución inmediata de carácter constructivo y formativo.
Nuestro propósito es seguir aplicándolo en forma sistemática, con distintos evaluadores y en distintos ámbitos, para contar con un instrumento constructivo que guíe el aprendizaje del alumno en pos del logro de los objetivos educacionales y que nos permita corregir errores in situ, resultando a la vez un motivador para el intercambio entre docentes y alumnos.

ANEXO 1
ANEXO 2

Agradecimientos

El Departamento de Salud Materno Infantil de la Universidad Maimónides agradece especialmente el apoyo y la colaboración de los Dres. Gustavo Sastre, Ariel Beno, los pediatras de los policonsultorios de OSECAC y los médicos del Hospital Materno Infantil y los Centros de Salud del Municipio de Tigre que participaron de este proyecto, y la colaboración de la Bioq. Marta del Valle.

BIBLIOGRAFÍA

1. Miller, G. The assessment of clinical skills/competence/ performance. Academic Medicine 1990; 65(9 suppl):s63-7.         [ Links ]

2. Brailovsky C. Educación Médica, evaluación de las competencias. En: Aportes para un cambio curricular en Argentina 2001. Facultad de Medicina (UBA)-OPS. Buenos Aires; 106-22.         [ Links ]

3. Alves de Lima A. Devolución constructiva: una estrategia para mejorar el aprendizaje. Medicina 2008; 68:88-92.         [ Links ]

4. Wai-Ching Leung. Competency based medical training: review. B Med J 2002; 325:693-6.         [ Links ]

5. Alves de Lima A. Observación directa del desempeño del residente: una práctica en desuso. Rev Argent Cardiol 2005; Vol. 73.         [ Links ]

6.Alves de Lima A. Claves para la evaluación efectiva del residente. Rev Hosp Ital Bs. Aires 2005. Vol. 25(Nº3/4).         [ Links ]

7. Noel G. Herbers J, Caplow MP, et al. How well do internal medicine faculty members evaluate the clinical skills of residents? Ann Intern Med 1992; 117:757-65.         [ Links ]

8. Norcini J, et al. The Mini-CEX (Clinical evaluation exercise): a preliminary investigation. Ann Inter Med 1995; 123(10):795-9.         [ Links ]

9. Nair BR, Alexander HG, McGrath BP, Parvathy MS, et al. The mini clinical evaluation exercise (mini-Cex) for assessing clinical performance of international medical graduates. Med J Aus 2008; 189:159.         [ Links ]

10. Castillo Costa, Y, Alves de Lima A. Ejercicio de examen clínico reducido (EECR): una herramienta para evaluar la competencia clínica. Resultados preliminares. Rev Argent Cardiol 2004; 72:251.         [ Links ]

11. Boehler M, et al. An investigation of medical student reactions to feedback: a randomized controlled trial. Med Educ 2006; 11:289-303.         [ Links ]

12. Krueger, P. To the point: Reviews in medical education teaching techniques. Am J Obst Gyn 2004; 191:408-11.         [ Links ]

13. Norcini J, Blak LL, Duffy FD, Fortma GS, et al. The mini-CEX: A method for assessing clinical skills. Ann Int Med 2003; 138:476-83.         [ Links ]

14. Norman GR, Van der Vleuten CP, De Graaff E, et al. Pitfalls in the pursuit of objectivity; issues of reliability. Med Educat 1991; 25:110-18.         [ Links ]

15. Alves de Lima A. A qualitative study of the impact on learning of the mini clinical evaluation exercise in post-graduate training. Med Teach 2005; 27:46-52.         [ Links ]

16. Holmboe E, Huot S, Chung J, et al. Construct validity of the Mini Clinical Evaluation Exercise (mini-CEX) in a Medicine Core Clerkship. Acad Med 2003; 81(10 Suppl):56-60.         [ Links ]

17. American Board of Internal Medicine. The Mini-CEX: A quality tool in evaluation. Disponible en: http://www.abim.org/minicex/default.htm.         [ Links ]

18. Kogan J, Bellini LM, Shea JA. Feasibility, Reliability, and Validity of the Mini-Clinical Evaluation Exercise (mCEX) in a Medicine Core Clerkship. Acad Med 2033; 78:10.         [ Links ]

19. Durning S, Cation L, Markert R, Pangaro LM. Assessing the Reliability and Validity of the Mini-Clinical Evalua-tion Exercise for Internal Medicine Residency Training. Acad Med 2002; 77(9):900-4.         [ Links ]

20. Alves de Lima A, Barrero C, Baratta S, et al. Validity, reliability, feasibility and satisfaction of the Mini-Clinical Evaluation Exercise (Mini-CEX) for cardiology residency training. Med Teach 2007; 29:785-90.         [ Links ]

21. Alves de Lima A, Conde D, Aldunate L. Teachers' experiences of the role and function of the mini clinical evaluation exercise in postgraduate training. Int J Med Educ 2010; 1:68-73.         [ Links ]

22. BenguiguiY, Bissot A. Organización Panamericana de la Salud. Desafíos en la atención pediátrica en el siglo XXI: la estrategia AIEPI en el XIII Congreso Latinoamericano de Pediatría, Panamá 2003. Washington, D.C: OPS.         [ Links ]