SciELO - Scientific Electronic Library Online

 
vol.105 issue4Endometriosis en la etapa infanto-juvenil: presentación de nueve casos en un hospital pediátricoEnseñanza de la investigación con un sistema de tutores durante la residencia de pediatría author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

  • Have no cited articlesCited by SciELO

Related links

  • Have no similar articlesSimilars in SciELO

Share


Archivos argentinos de pediatría

Print version ISSN 0325-0075On-line version ISSN 1668-3501

Arch. argent. pediatr. vol.105 no.4 Buenos Aires July/Aug. 2007

 

COMUNICACIONES BREVES

Examen clínico estructurado objetivo para residentes de pediatría. Presentación de una experiencia

Dres. Mariel Bustos*, María J. Chiolo*, Adrián Cutri*, María E. Noguerol*, María F. Ossorio*, Fernando Torres*, Lic. Gabriel Listovsky** y Dr. Fernando Ferrero*

* Docencia e Investigación, Hospital General de Niños "Dr. Pedro de Elizalde".
** Dirección de Capacitación Profesional y Técnica, Ministerio de Salud, Gobierno de la Ciudad de Buenos Aires.

Correspondencia: Dr. Adrián Cutri. instructorescuna@yahoo.com.ar

RESUMEN

Introducción. El objetivo del Sistema de Residencia es la adquisición de competencias profesionales. El examen clínico estructurado objetivo (ECEO) constituye una valiosa herramienta de evaluación. Para optimizar la evaluación de las competencias clínicas de los médicos residentes implementamos un ECEO, experiencia que se describe.
Población, material y métodos. Implementamos un ECEO con 7 estaciones en 25 residentes de 1er año de Pediatría. Se estimó mediana y percentilos de puntaje total y cada estación. Se realizó encuesta de satisfacción de usuario.
Resultados. Sobre un puntaje total de 100, la mediana obtenida fue de 50,6 (rango intercuartílico: 45-59). La estación "Pautas madurativas" mostró el mayor puntaje y "Caso interactivo" el menor. En la encuesta de satisfacción, 22 residentes consideraron que esta metodología permitió identificar puntos débiles en su formación.
Conclusiones. El ECEO es una metodología de evaluación aplicable en nuestro medio. Los residentes consideran que les permite identificar puntos débiles en su formación.

Palabras clave: Competencia profesional; Evaluación.

SUMMARY

Introduction. Objective Structured Clinical Examination (OSCE) is a valuable tool to evaluate professional competences in Residency Programs.
Population, materials and methods. An OSCE including 7 stations was administered to 25 residents of Pediatrics in their 1st year of the program. We estimated median and centiles of the final and each station scores. After the examination, a survey on resident's opinion regarding the OSCE was administered.
Results. From a maximum score of 100 points, median was 50.6 (intercuartilic range: 45-59). The highest score was achieved on the "Neurodevelopment" station and the lowest on the "Interactive case" station. The survey showed that 22 residents considered that OSCE allowed them to identify weakness in their training.
Conclusions. OSCE is adequate to evaluate Pediatric residents. Most residents considered it useful to identify weakness in their training.

Key words: Professional competence; Evaluation.

INTRODUCCIÓN

La formación de pediatras a través del Sistema de Residencia se basa en un continuo aprendizaje, favorecido por el contacto permanente con los pacientes y el grupo docente. El objetivo es lograr competencia profesional, es decir, la utilización de conocimientos, habilidades, actitudes y juicio clínico para desarrollar en forma eficaz las acciones que corresponden al campo de la práctica diaria.1 La evaluación de los aprendizajes y del programa son parte fundamental de este sistema.
El Sistema de Residencias Médicas del Gobierno de la Ciudad de Buenos Aires es el principal formador de profesionales de la salud: abarca el 52,9% de los residentes del sector público del país.2,3
Este Sistema utiliza diversos procedimientos para la evaluación de sus integrantes, incluidas pruebas de selección múltiple o exámenes orales estructurados (para evaluar los conocimientos) y observación directa por profesionales de mayor experiencia (para evaluar el desempeño). Sin embargo, dada la complejidad de la competencia profesional, un solo instrumento de evaluación resulta poco confiable.
El examen clínico estructurado objetivo (ECEO) está compuesto por una serie de "estaciones", en cada una de ellas el evaluado enfrenta una situación clínica y se evalúa un aspecto concreto de algún componente específico de una competencia. Un ECEO con un alto número de estaciones (más de 30) permitiría realizar una evaluación integral. Al mismo tiempo, provee una retroalimentación fundamentada a los estudiantes y docentes respecto del aprendizaje, útil para la revisión de programas.4,5
Desde que fue implementado por primera vez en 1975,6 el ECEO ha sido utilizado en prestigiosas instituciones para la evaluación de alumnos de grado7,8 y posgrado.9,10
Con el fin de optimizar la evaluación de las competencias clínicas de los residentes de pediatría de nuestro hospital se implementó un ECEO y tal experiencia se describe a continuación.

MATERIAL Y MÉTODOS

Participaron del ECEO 25 residentes de pediatría del Hospital General de Niños "Dr. Pedro de Elizalde" (HGNPE), al finalizar el primer año de su residencia. Las estaciones incluidas en la evaluación fueron diseñadas por instructores de residentes y posteriormente controladas por expertos en cada especialidad. Para su organización se seleccionaron los objetivos a evaluar de acuerdo al programa de formación correspondiente al primer año de residencia pediátrica.11
El ECEO fue implementado en abril de 2006 en el Comité de Docencia e Investigación del HGNPE. Se programaron 7 estaciones. En una estación se contó con un caso clínico en formato electrónico y, en dos, con actrices como madres estandarizadas y observadores (Tabla 1). Para estas estaciones se utilizaron guiones y listas de chequeo revisados por profesionales de nuestro hospital. Las listas contaban con 40 ítems puntuados de 1 a 5 según su jerarquía. El entrenamiento de las actrices y observadores se realizó durante las tres semanas previas con médicos de planta y residentes de años superiores.

TABLA 1. Estaciones componentes del ECEO

Se utilizaron dos aulas como sala de espera y otras siete para las estaciones, todas identificadas en la puerta de acceso y ambientadas para la situación planteada según la forma habitual de trabajo en nuestro hospital.
Los residentes recibieron previamente información sobre el funcionamiento y los objetivos del ECEO y en cada una de las estaciones se colocaron instructivos escritos con el detalle de la actividad por desarrollar. Fueron divididos en cuatro grupos que rotaron en forma sucesiva y simultánea. Cada estación duró 10 minutos y su finalización era anunciada por el sonido de una alarma programada (duración total de la evaluación 4.30 h aproximadamente).
El puntaje máximo por estación fue de 100 puntos, se estimó mediana y rango intercuartílico de cada una. Se fijó como punto de corte en el percentilo (Pl) 25 para considerar alcanzado el objetivo de la estación.
Se prefirió adoptar un criterio relativo en lugar de un criterio absoluto predeterminado, ya que si bien el programa y los objetivos son comunes para todos los residentes, las situaciones a las que se hallan expuestos no son las mismas.12
Al finalizar la evaluación, los instructores de residentes efectuaron la devolución de los resultados del examen a los participantes, que enfatizaban, en forma individual, aspectos positivos y negativos del desempeño para cada estación; posteriormente, llevaron a cabo una encuesta autoadministrada sobre satisfacción de usuario.
Se calcularon medidas de tendencia central (media, mediana) y de dispersión (desvío estándar, rango e intervalo intercuartílico). Para el procesamiento estadístico de los datos se utilizó el programa SPSS 10.0 para Windows (SPSS 1999, Chicago).

RESULTADOS

En la estación de pautas madurativas se observó el mayor puntaje (mediana 70). En la estación de toma de decisiones con el caso interactivo se verificó el menor puntaje (mediana 0). Esta fue la estación con el mayor número de residentes con un puntaje menor al Pl 25 (17 residentes) debido a que su diseño sólo admitía respuesta completa y en el tiempo estipulado. Las restantes estaciones presentaron una mediana entre 50 y 58 puntos (Tabla 2).

TABLA 2. Puntaje del ECEO por estaciones

Completaron la encuesta sobre satisfacción de usuario (Tabla 3) 23 residentes. Veintidós consideraron que esta metodología permitió identificar puntos débiles en su formación, 18 que los temas elegidos concordaban con su nivel de capacitación y 17 que la organización había sido adecuada. Seis de los residentes no se sintieron más cómodos con esta forma de evaluación y sólo uno no recomendaría el ECEO como metodología de evaluación.

TABLA 3. Encuesta sobre la opinión formada luego de la evaluación

DISCUSIÓN

El ECEO permitió evaluar el desempeño de los residentes frente a distintas situaciones clínicas de forma homogénea y objetiva.
La estación de exámenes complementarios permitió identificar una dificultad para interpretar y describir imágenes en todo el grupo evaluado.
Esta experiencia presenta ciertas limitaciones que deben ser tenidas en cuenta. Por un lado, no se evaluaron destrezas, que deben ser parte integral de este tipo de evaluación (en nuestro sistema, la evaluación de las destrezas está a cargo del Jefe de Residentes por observación directa).
Por otro lado, el número de estaciones implementadas fue inferior al clásicamente recomendado, que debe ser como mínimo de 10 estaciones con un tiempo breve en cada una de ellas.13,14 Sin embargo, por tratarse de nuestra primera experiencia preferimos reducir el número de estaciones e incrementar el tiempo asignado a cada una debido a la inexperiencia de alumnos y evaluadores.
Esta fue la primera vez que se sometían a este tipo de examen, pero en la encuesta sobre satisfacción de usuario la mayoría de los residentes coincidieron en que los temas elegidos concordaron con su nivel de capacitación y que este sistema de evaluación les permitió identificar puntos débiles en su formación.
El ECEO puede ser implementado en nuestro medio como complemento de otras metodologías de evaluación utilizadas tradicionalmente, no solamente como un examen sumativo sino también formativo.4
Al ser la primera vez que se diseña y utiliza este instrumento de evaluación en nuestro hospital, los resultados no pueden compararse con los obtenidos por los métodos de evaluación habitualmente aplicados.
Los resultados obtenidos permitieron identificar dificultades en aspectos específicos de la enseñanza y estimular la actividad docente para mejorar el desempeño en dichas áreas. Con esta metodología de evaluación se espera identificar las necesidades específicas de cada residente con el objeto de programar estrategias (talleres, rotaciones especiales, actividades supervisadas) que le permitan alcanzar las competencias necesarias.

BIBLIOGRAFÍA

1. Vecchi C. El examen de certificación. Su evaluación a partir de una encuesta. Arch Argent Pediatr 2002; 100(6):468-474.        [ Links ]

2. Dirección de Capacitación Profesional y Técnica, Ministerio de Salud, Gobierno de la Ciudad de Buenos Aires. 2007.        [ Links ]

3. Recursos Humanos, Ministerio de Salud de la Nación. 2007.        [ Links ]

4. Treviño X, Vázquez A, Mena A, et al. Aplicación del Examen Clínico Objetivo Estructurado (OSCE) en la evaluación final del internado de pediatría en dos escuelas de Medicina. Rev Med Chile 2002; 130:817-824.        [ Links ]

5. Duerson MC, Romrell LJ, Stevens CB. Impacting faculty teaching and student performance nine years experience with the OSCE. Teach Learn Med 2000; 12(4):176-82.        [ Links ]

6. Harden RM, Stevenson M, Downie WW, Wilson GM. Assessment of clinical competence using objective structured examination. Br Med J 1975; 1:447-51.        [ Links ]

7. Mavis BE, Cole BL, Hoppe RB. A survey of information sources used for progress decisions about medical student. Med Educ Online 2000; 5:10. Disponible en: www.med-edonline.org Consulta: 11/6/07.        [ Links ]

8. Townsend AH, Mcllvenny S, Miller CJ, Dunn EV. The use of an objective structured clinical examination (OSCE) for formative and summative assessment in a general practice clinical attachment and its relationship to final medial school examination performance. Med Educ 2001; 35:841-6.        [ Links ]

9. Sibert L, Mairesse JP, Aulanier S, et al. Introducing the objective structured clinical examination to a general practice residency programme: results of a French pilot study. Medical Teacher 2001; 23(4):383-8.        [ Links ]

10. Hodges B, Regehr G, Hanson M, Mcnaughton N. Validation of an objective structured clinical examination in Psychiatry. Academic Medicine 1998; 73:910-2.        [ Links ]

11. Dirección de Capacitación y Desarrollo. Secretaría de Salud. Gobierno de la Ciudad de Buenos Aires. Programa Docente de Clínica Pediátrica; 2005. Disponible en: www.buenosaires.gov.ar/areas/salud/dircap/res/prog/ pediatria.pdf Consulta: 03/01/07.        [ Links ]

12. Galli A, Castro C. Exámenes orales y escritos. Programa de formación docente pedagógica. Carrera Docente, Facultad de Medicina, Universidad de Buenos Aires 1999; 6:48-52.        [ Links ]

13. Newble DI. Techniques for measuring clinical competence: objective structured clinical examinations. Med Educ 2004; 38:199-203.        [ Links ]

14. Ronald M, Epstein MD. Assessment in Medical Education. N Engl J Med 2007; 356:387-96.         [ Links ]

Creative Commons License All the contents of this journal, except where otherwise noted, is licensed under a Creative Commons Attribution License