ARTÍCULO ORIGINAL

Relación entre el desempeño en el examen de ingreso a la residencia y en el de especialización en pediatría en la ciudad de Buenos Aires

 

Juan Pablo Ferreira¹, Magali Hamui¹, Agustina Paganini¹, Fernando A. Torres^{1, 2}, María Fabiana Ossorio^{1, 2}, Kumiko Eiguchi³, Fernando Ferrero^{1, 2}

¹Docencia e Investigación, Hospital General de Niños Pedro de Elizalde,
²Departamento de Pediatría, Facultad de Medicina, Universidad de Buenos Aires,
³Dirección General de Docencia e Investigación, Ministerio de Salud, Gobierno de la Ciudad de Buenos Aires, Argentina
Dirección postal: Juan Pablo Ferreira, General Pueyrredón 440, 1642 San Isidro, Buenos Aires, Argentina
e-mail: ferreirajuanpablo@hotmail.com

Recibido: 10-XII-2015
Aceptado: 28-III-2016

---

Resumen

En la Ciudad de Buenos Aires (CABA) los ingresantes al sistema de residencia en pediatría lo hacen mediante un examen unificado y, al finalizar, rinden su examen de especialización en la Universidad de Buenos Aires (UBA). Existe evidencia de que el desempeño en determinadas evaluaciones podría predecir el rendimiento posterior. El objetivo de este estudio es evaluar si existe relación entre el examen de ingreso a la residencia (EIR) y el de especialización (EE) en pediatría. Se trata de una investigación transversal que incluye todos los sujetos que aprobaron el EIR de pediatría en CABA en 2004-2009 y que rindieron EE de pediatría en la UBA. Se obtuvo el puntaje de cada sujeto en ambos exámenes y se calculó la correlación correspondiente. Las notas fueron divididas en quintiles, calculando la proporción de alumnos que mejoró su ubicación en el segundo examen con respecto al primero. Se obtuvieron datos de 303 participantes. El examen de ingreso (calificación máxima de 60 puntos) mostró una mediana de 45.0 puntos (IIC: 43.0-48.7) y el examen de especialización (calificación máxima de 10 puntos) mostró una mediana de 6 puntos (IIC: 6-8), verificándose una correlación significativa entre la calificación del EIR y la del EE (r = 0.37, p < 0.001). En relación al quintil de referencia, 43.8% de los alumnos mejoró su ubicación en el EE respecto de la obtenida en el EIR, sin que se registraran diferencias entre residentes de hospitales pediátricos y de hospitales generales (45.6 vs. 31.5%; p = 0.1).

Palabras clave: Competencia profesional; Evaluación; Educación de posgrado en medicina.

Abstract

Correlation between results of the residency admission test and of pediatric certification test in Buenos Aires, Argentina

In the city of Buenos Aires (CABA), pediatric residents enter the residency program after taking a unified admission test. After completion of the program and passing a final test, the Universidad de Buenos Aires (UBA) provides a professional certification. The objective of this study is to determine if the results obtained in the residency admission test (RAT) and those of the professional certification test (PCT) correlated. This is a cross-sectional study, that included all subjects who passed the pediatrics RAT in CABA in 2004-2009, and that attended the pediatric PCT of the UBA. The score for each subject in both tests was obtained and the corresponding correlation was calculated. Results were divided in quintiles, and the proportion of subjects who improved their position in the PCT with respect to the RAT was calculated. Data from 303 subjects was obtained. The RAT showed a median of 45.0 (over 60 maximum) (IC-range: 43.0-48.7), and the PCT showed a median of 6 points (over 10 max.)(IC-range: 6-8). A significative correlation between results in RAT and PCT was observed (r = 0.37, p < 0.001). Based on their position in the RAT, 43.8% of subjects improved their position in the PCT, without differences between residents attending pediatric and general hospitals (45.6 vs. 31.5%; p = 0.1). In the case of pediatric residents, results of the residency admission test correlate with those obtained in the professional certification test.

Key words: Professional competence; Evaluation; Graduate medical education.

---

 

Desde hace más de 100 años la residencia es considerada como el método más adecuado para realizar la educación de posgrado en medicina y constituye el sistema habitual para encarar la especialización¹.
Existen diferentes mecanismos para acceder a los programas de residencia^{2, 3}, pero es probable que los exámenes centralizados y uniformes puedan reflejar más fielmente la preparación de los postulantes². Por otra parte, la especialización suele ser el camino final de los programas de residencia. Actualmente muchos países han adoptado exámenes centralizados de especialización, que permiten evaluar a todos los profesionales de manera uniforme.
En la Argentina, el Gobierno de la Ciudad de Buenos Aires (GCBA) cuenta con uno de los sistemas de residencia médica más antiguo, numeroso y mejor organizado del país. El ingreso al mismo se efectúa de manera centralizada mediante un examen escrito de opción múltiple que consta de 100 preguntas. También se toma en consideración el promedio de la carrera de grado. No se realiza entrevista personal⁴.
Además, en muchos casos estas residencias se desarrollan simultáneamente con carreras de especialista universitario de la Universidad de Buenos Aires (UBA)⁵. Específicamente en el caso de pediatría, los posgrados universitarios de la especialidad cuentan con una instancia única y centralizada de evaluación final para otorgar la especialización, que consta de un examen escrito de opción múltiple sumado a una evaluación oral.
Existe evidencia de que el desempeño en determinadas evaluaciones podría predecir el desempeño profesional posterior^{2, 6, 7}. Sin embargo, no hemos encontrado ninguna evaluación de tal situación en nuestro medio, particularmente en relación a los programas de residencia de pediatría. De verificarse tal premisa podrían delinearse estrategias para apoyar preferentemente a aquellos programas que incluyan alumnos que hayan ingresado al sistema con puntajes inferiores. Por lo tanto, nuestro objetivo fue evaluar si existe relación entre el puntaje del examen de ingreso a la residencia de pediatría y el del examen de especialización.

Materiales y métodos

Se trata de un estudio transversal, que incluyó a todos los profesionales que habían aprobado el examen de ingreso a la residencia de pediatría del Ministerio de Salud del GCBA, adjudicaron un cargo en alguna de las sedes entre los años 2004 y 2009 y, al finalizar, rindieron el examen de especialización en pediatría en la UBA.
De los listados de la Dirección General de Docencia e Investigación (DGDOIN) se identificaron los sujetos que rindieron el examen de ingreso a la residencia y se obtuvo en cada caso el número de documento nacional de identidad (DNI), año de ingreso, puntaje obtenido en el examen de ingreso y sede en la que finalmente adjudicó. Además, se registró el promedio general de la carrera de medicina. De los listados del Departamento de Pediatría de la UBA se identificaron los sujetos y se obtuvo su DNI, el año en que rindió el examen de especialización y la calificación obtenida. En caso de haber rendido el examen en más de una oportunidad se consideró el resultado de la primera instancia.
Solo se incluyeron aquellos alumnos que, en noviembre de 2014, figuraban en ambos registros. Una vez vinculados los datos en base al número de DNI, se reemplazó el mismo por un número de identificación secuencial único para cada sujeto, disociando de esta manera cualquier información filiatoria.
Habida cuenta de que en los programas de residencia del GCBA existe la instancia de re-adjudicación mediante la que el ingresante podría cambiar la institución inicialmente elegida dentro los 40 días de la asignación inicial, se tomó como válida la sede donde efectivamente se desarrolló la formación.
En el período de estudio se estimó que se incorporarían al sistema 480 aspirantes, de los cuales no menos de 300 rendirían el examen de certificación; esperábamos obtener los datos de al menos 290 sujetos, lo cual sería suficiente para poner en evidencia una correlación de 0.17, con 95% de confianza y 80% de potencia.
Se verificó la falta de ajuste a normalidad de la distribución de los puntajes de EIR y EE con la prueba de Kolmogorov-Smirnov. Se describen las calificaciones de los exámenes en base a mediana con intervalo entre cuartiles (IIC) y las variables categóricas (sede y año) se describen por proporciones. La correlación entre los puntajes de ambos exámenes se evaluó con la prueba de Pearson. Las comparaciones entre medianas de los puntajes se efectuaron con la prueba Mann-Whitney.
Se calculó la tasa de aprobación del examen de certificación; por medio de curva ROC se identificó el mejor punto de corte del puntaje de ingreso que permitía predecir la aprobación del examen de certificación.
Se calculó la proporción de alumnos que mejoraron su ubicación (según quintiles) en el segundo examen (EE) con respecto al primero (EIR), según tipo de sede, por prueba de Chi cuadrado.
En todos los casos que correspondía se asumió un nivel de significación de p < 0.05 a dos colas. El análisis estadístico se realizó con el programa SPSS versión 11.0.
Los datos fueron manejados de manera anónima, convenientemente disociados de cualquier información filiatoria, de acuerdo a lo establecido en la Ley 25326. Se solicitó y obtuvo la aprobación de los Comités de Ética en Investigación y de Docencia e Investigación del Hospital General de Niños Pedro de Elizalde, sede en la que se efectuó el estudio. La investigación fue registrada bajo número 176/14 en el Registro Público de Investigaciones del GCBA.

Resultados

En el período en cuestión, 609 aspirantes adjudicaron un cargo de residente de pediatría en los hospitales del GCBA.
Se obtuvieron los datos de 303 alumnos que participaron en ambos exámenes, pertenecientes a 12 instituciones; 87.4% correspondieron a los dos hospitales pediátricos de la Ciudad de Buenos Aires (Tabla 1).

Tabla 1. Distribución de los alumnos según sede y examen

Sobre un máximo de 60 puntos, el EIR mostró una mediana de 45.5 puntos (IIC: 43.0-48.7) y, sobre un máximo de 10 puntos, el EE mostró una mediana de 6 puntos (IIC: 6-8). Sobre un máximo de 10 puntos, el promedio general de la carrera de medicina mostró una mediana de 8.8 puntos (IIC: 8.3-9.3). En el periodo de seis años estudiado, la mediana del EIR osciló entre 43.0 y 56.2, y el del EE entre 6 y 8 (Tabla 2).

Tabla 2. Sujetos que rindieron examen de ingreso a la residencia (EIR) y examen de especialización (EE), y sus respectivos puntajes

En los 609 sujetos que rindieron el EIR, la mediana del puntaje de dicho examen no difirió significativamente entre aquellos que rindieron el EE (n = 303) y aquellos que no lo hicieron (45.5 vs. 45.5; p = 0.06). La proporción de alumnos que rindió el examen final fue significativamente mayor entre aquellos provenientes de hospitales pediátricos que en los formados en hospitales generales (67.6 % vs. 17.5%; OR = 9.8 IC95%: 6.5-14.7; p < 0.001) (Tabla 1).
Se verificó una correlación significativa entre el puntaje del EIR y el puntaje del EE (r = 0.37; p < 0.001). De igual forma, se verificó una correlación significativa entre el promedio general de la carrera de medicina y el puntaje del EIR (r = 0.43; p < 0.001) y entre el promedio general de la carrera de medicina y el puntaje del EE (r = 0.49; p < 0.001)
Los residentes de hospitales pediátricos presentaron mediana de puntajes de EIR (46.5 vs. 42.2; p < 0.001) y del EE (7 vs. 5.5 ± 1.6; p < 0.001) significativamente mayores que los de hospitales generales.
El 98.6% (IC95%: 96.3-99.5) de los sujetos aprobó el examen de certificación, sin diferencias entre aquellos provenientes de hospitales pediátricos y de hospitales generales (99.2% vs. 94.7%). Un puntaje ≥ 42 fue identificado como el mejor punto de corte (aucROC = 0.610; IC95%: 0.26-0.95) para predecir la aprobación del examen de certificación (OR: 3.8; IC95% = 1.7-93.7; p = 0.03).
El 23.1% (IIC: 18.6-28.3) de los alumnos mejoró su ubicación en el EE respecto del EIR en relación al quintil de referencia, siendo esta proporción notablemente mayor (50.8%) entre aquellos ubicados en el primer quintil (Tabla 3) (Fig. 1). No se observaron diferencias en este aspecto entre aquellos residentes de hospitales pediátricos y los de hospitales generales (22.3 vs. 28.9 %; p = 0.4 OR: 0.7; IC95%: 0.3-1.5) (Tabla 3).

Tabla 3. Desempeño de los sujetos según ubicación en los quintiles del examen de especialización (EE) en relación al quintil de correspondiente del examen de ingreso a la residencia (EIR)

Fig. 1. Porcentaje de sujetos que cambian su ubicación (número de quintiles) en la distribución de calificaciones del examen de especialización (EE) en relación al examen de ingreso a la residencia (EIR).

Discusión

Nuestros resultados muestran una correlación significativa entre el puntaje obtenido en el examen de ingreso a la residencia y el logrado en el examen de especialización. El mismo hecho se verificó entre el promedio general de la carrera de medicina y el puntaje del EIR. Estos datos son consistentes con lo referido por Mc Caskill8 en un programa de residencia en pediatría de la Universidad de Florida y por Klein en Cirugía Ortopédica9, en ambos casos utilizando los datos del examen final de la carrera (U.S. Medical Licensure Examination - USMLE).
En nuestro estudio la tasa de aprobación fue elevada y el tipo de institución formadora (general o especializada) no se comportó como predictor para aprobar el EE. Aunque existe poca evidencia publicada sobre el comportamiento de sistemas de residencia que combinan diferentes hospitales y sedes¹⁰, es muy probable que esto esté relacionado con la existencia de un programa común de formación^{5, 11}, y el hecho de compartir gran número de escenarios de aprendizaje¹¹.
Aunque la especialización no es imprescindible para el ejercicio profesional en nuestro país, es evidente que mejora la calidad de la atención profesional¹². Intentar que todos los alumnos obtengan la especialización es una de las principales inquietudes de los responsables de los programas de formación de posgrado. Esta preocupación ha llevado a implementar diversas estrategias para identificar¹³ y apoyar a aquellos sujetos en "riesgo académico"¹⁴. Aunque nuestro estudio no logró identificar tipos de sede cuyos alumnos tuvieran mayor riesgo de no aprobar el EE, el análisis permitió identificar, aunque con escasa precisión, un punto de corte del EIR para predecir la no aprobación del EE. Verificar esta premisa, podría ayudar a diseñar e implementar estrategias locales para estos sujetos en "riesgo académico".
Encontramos que el 23.1% de los sujetos mejoran su ubicación en el EE en relación al EIR, proporción que alcanza el 50.8% de los que se encuentran en el primer quintil. Es muy probable que la homogeneidad del programa de formación sea responsable, al menos en parte, de este resultado.
Al efectuar este análisis es importante tener en cuenta que lo que se modifica no es necesariamente la calificación de los sujetos, sino el quintil de pertenencia: un sujeto puede haber obtenido una nota similar en el segundo examen, pero el desempeño del resto de los alumnos puede modificar su ubicación en la distribución.
También se debe tener en cuenta que todos los movimientos son relativos, ya que de por sí la población estudiada constituye un grupo de alto rendimiento: su calificación promedio de la carrera de medicina se ubica en 8.8 puntos (sobre un máximo de 10.0), se postulan a una especialidad muy requerida (la que tiene el mayor número de postulantes en el sistema del GCBA) y con una baja tasa de accesibilidad (5 postulantes por cada cargo)¹⁵. Es muy difícil en este escenario que aquellos ubicados en los primeros lugares mejoren aún más su desempeño.
A pesar de ser, hasta donde sabemos, la primera experiencia en nuestro medio en comparar los exámenes de ingreso y egreso a un sistema de formación de posgrado en medicina, abarcando un número tan importante de sujetos y tan gran variedad de sedes de formación, nuestro estudio presenta potenciales limitaciones que deben ser tenidas en cuenta. Por una parte, una gran proporción de los alumnos provenían de hospitales pediátricos, pudiendo esto introducir un sesgo en relación al resultado del EE. Sin embargo, no se encontraron diferencias en la tasa de aprobación del EE entre los residentes de hospitales pediátricos y aquellos de hospitales generales. Aunque los dos hospitales pediátricos presentaron un número significativamente mayor de residentes, existe evidencia de que la cantidad de profesionales dedicados a la formación de los residentes y la cantidad de actividad académica es más importante que el número de residentes de cada programa en lo que respecta a la tasa de aprobación del EE¹⁶. Encontramos una mayor proporción de alumnos de hospitales pediátricos que rendían el EE en relación a los de hospitales generales, lo que podría deberse a un ambiente más competitivo en sus centros formadores donde se genera una mayor percepción de prestigio ligado a la obtención de la especialización de la universidad¹⁷.
Por otro lado, no fue considerada la entidad formadora de grado, pudiendo esto establecer un sesgo en relación al resultado del EIR. Sin embargo, existe evidencia de que la mayoría de los alumnos de este sistema de formación habían efectuado sus estudios de grado en la misma universidad (UBA)¹⁸.
Nuestro estudio logró identificar 303 sujetos que rindieron ambos exámenes, sobre los 609 que ingresaron a la residencia en los años considerados. En lo que concierne a este análisis, no hay diferencias importantes entre los que rindieron el EE y aquellos que no lo hicieron, dado que no se encontraron diferencias entre ambos grupos en relación al puntaje del EIR. Es muy probable que aquellos que no rindieron el EE hayan obtenido la certificación de especialistas en otro ámbito, ya que un 40% de los ingresantes al sistema provienen habitualmente de otra jurisdicción^{15, 18}.
Finalmente, nuestro estudio se centró en el sistema del GCBA, que incluye 12 sedes con alrededor de 100 ingresantes anuales, y en la Argentina existen en la actualidad 87 residencias de pediatría acreditadas¹⁹ en las que ingresan anualmente alrededor de 400 residentes, por lo que no pueden descartarse diferencias que no fueron exploradas en este análisis¹⁵.
Nuestro estudio permitió establecer que los residentes que obtienen las calificaciones más bajas en el EIR probablemente obtengan las calificaciones más bajas en el EE y, eventualmente, tengan mayor probabilidad de reprobar en esta instancia. Por lo tanto, es importante adoptar medidas de apoyo a estos residentes y a las sedes que los reciben.
En conclusión, observamos una correlación significativa entre la calificación del EIR y la del EE. El 23.1% de los alumnos mejoró su ubicación en el examen de egreso respecto a la obtenida en el de ingreso, en relación al quintil de referencia, sin diferencia entre hospitales especializados y generales.

Agradecimientos: Al Sr. Ricardo Scalerandi y la Srta. Carina Belvedere por su colaboración en la obtención de los datos originales. Al Dr. Julio Busaniche y a la Lic. Amanda Galli, por la revisión crítica del manuscrito.

Conflicto de intereses: Ninguno para declarar

Bibliografía

1. Cameron JL. William Stewart Halsted. Our surgical heritage. Ann Surg 1997; 225: 445-58.         [ Links ]

2. Kenny S, McInnes M, Singh V. Associations between residency selection strategies and doctor performance: a meta-analysis. Med Educ 2013; 47: 790-800.         [ Links ]

3. Edje L, Miller C, Kiefer J, Oram D. Using skype as an alternative for residency selection interviews. J Grad Med Educ 2013; 5: 503-5.         [ Links ]

4. Dirección de Capacitación y Docencia, GCBA. Información sobre el sistema de residencias y concurrencias. En: http://www.buenosaires.gob.ar/sites/gcaba/files/cuadernillo2015_3001.pdf; consultado el 29/9/2015.         [ Links ]

5. Facultad de Medicina, Universidad de Buenos Aires. Carrera de Médico Especialista en Pediatría. En: http://www.fmed.uba.ar/posgrado/especialistas/detalles/pediat.htm; consultado el 06/06/2014.         [ Links ]

6. Jeffe DB, Andriole DA. Factors associated with American Board of Medical Specialties member board certification among US medical school graduates. JAMA 2011; 306: 961-70.         [ Links ]

7. Juul D, Sexson SB, Brooks BA, et al. Relationship between performance on child and adolescent psychiatry in-training and certification examinations. J Grad Med Educ 2013; 5: 262-6.         [ Links ]

8. McCaskill QE, Kirk JJ, Barata DM, et al. USMLE step 1 scores as a significant predictor of future board passage in pediatrics. Ambul Pediatr 2007; 7: 192-5.         [ Links ]

9. Klein GR, Austin MS, Randolph S, et al. Passing the Boards: can USMLE and Orthopaedic in-Training Examination scores predict passage of the ABOS Part-I examination? J Bone Joint Surg Am 2004; 86: 1092-5.         [ Links ]

10. Cora-Bramble D, Joseph J, Jain S, et al. A cross-cultural pediatric residency program merger. Acad Med 2006; 81: 1108-14.         [ Links ]

11. Ministerio de Salud, GCBA. Programa docente de la residencia de pediatría. En: http://www.buenosaires.gob.ar/sites/gcaba/files/prog_pediatria.pdf; consultado el 15/10/2015.         [ Links ]

12. Sutherland K, Leatherman S. Does certification improve medical standards? BMJ 2006; 333: 439-41.         [ Links ]

13. Brateanu A, Yu C, Kattan MW, et al. A nomogram to predict the probability of passing the American Board of Internal Medicine examination. Med Educ Online 2012; 17: 18810.         [ Links ]

14. Aeder L, Fogel J, Schaeffer H. Pediatric board review course for residents "at risk". Clin Pediatr (Phila) 2010; 49: 450-6.         [ Links ]

15. Eiguchi K. Visión actual del Sistema de Residencias Médicas en el GCBA. En: http://www.buenosaires.gob.ar/areas/salud/dircap/REsidencias-Web.pdf; consultado el 29/09/2015.         [ Links ]

16. Atsawarungruangkit A. Residency program characteristics that are associated with pass rate of the American Board of Pediatrics certifying exam. Adv Med Educ Pract 2015; 6: 517-24.         [ Links ]

17. Norredam M, Album D. Prestige and its significance for medical specialties and diseases. Scand J Public Health 2007; 35: 655-61.         [ Links ]

18. Neuman M, Questa U, Kaufmann R. Concurso de residencias médicas en la ciudad de Buenos Aires: importancia del género y universidad. Educ Med 2004; 7: 90-96.         [ Links ]

19. Sociedad Argentina de Pediatría. Consejo de Acreditación de Espacios de Formación. En: http://sap.org.ar/index.php/contenidos/detalle/id/178; consultado el 06/10/2015.         [ Links ]