SciELO - Scientific Electronic Library Online

 
vol.116 issue1Success in probing for congenital nasolacrimal duct obstruction: Ten years experienceFood allergy in children: recommendations for diagnosis and treatment author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

  • Have no cited articlesCited by SciELO

Related links

  • Have no similar articlesSimilars in SciELO

Share


Archivos argentinos de pediatría

Print version ISSN 0325-0075On-line version ISSN 1668-3501

Arch. argent. pediatr. vol.116 no.1 Buenos Aires Feb. 2018

http://dx.doi.org/10.5546/aap.2018.e151 

EDUCACIÓN MÉDICA

Arch Argent Pediatr 2018;116(1):e151-e155/e151

http://dx.doi.org/10.5546/aap.2018.e151

Prueba de concordancia de script: primera experiencia en pediatría de alcance nacional

Script Concordance Test: first nationwide experience in pediatrics

 

Dra. MagaliHamuia,e, Dr. Juan P. Ferreirab,e, Dra. Milagros Torrentsb,e, Dr. Fernando Torresc,e, Dr. Mariano Ibarrae, Dra. Maria F. Ossorioe, Dr. Luis Urrutiad y Dr. Fernando Ferreroc,e

a. Consejo de Acreditación de Espacios de Formación, Sociedad Argentina de Pediatría, Ciudad de Buenos Aires.
b. Grupo de Trabajo de Pediatras en Formación, Sociedad Argentina de Pediatría, Ciudad de Buenos Aires.
c. Secretaría de Educación Continua, Sociedad Argentina de Pediatría, Ciudad de Buenos Aires.
d. Hospital de Pediatría SAMIC "Prof. Dr. Juan Pedro Garrahan", Ciudad de Buenos Aires.
e. Docencia e Investigación, Hospital General de Niños Pedro de Elizalde, Ciudad de Buenos Aires.

Correspondencia: Dra. Magalí Hamui, magalihamui@gmail.com

Financiamiento: Ninguno.

Conflicto de intereses:

Ninguno que declarar.

Recibido: 16-5-2017
Aceptado: 10-8-2017

 


RESUMEN

La prueba de concordancia de script es una herramienta adecuada para evaluar el razonamiento clínico.
Se describe la primera experiencia de aplicación de esta prueba a nivel nacional en residentes de Pediatría, utilizando internet, en tiempo real. Participaron 268 residentes de 3.er año correspondientes a 56 sedes. La duración promedio del examen fue 46,1 ± 27,1 minutos, y se obtuvo un puntaje promedio de 65,3 ± 7,47 (sobre 100). Una encuesta posterior mostró una limitada satisfacción de los participantes.
Esta experiencia muestra la factibilidad de la propuesta y su aplicabilidad en la formación de posgrado en Pediatría a nivel nacional.

Palabras clave: Educación de posgrado en Medicina; Internado y residencia; Evaluación educacional.

ABSTRACT

The Script Concordance Test is a suitable test for assessing clinical reasoning in postgraduate medical education. We present the first nationwide, realtime, web-based experience of a Script Concordance Test administered to 3rd year pediatric residents.
The test was administered to 268 residents (postgraduate year 3), from 56 different programs, requiring 46.1 ± 27.1 minutes to complete it, and scoring 65.3 ± 7.47 points. A later survey showed limited satisfaction from participants.
This experience showed that this kind of test is feasible in this setting.

Key words: Education; Medical; Graduate; Internship and residency; Education measurement.


 

INTRODUCCIÓN

Frente a un paciente o caso determinado, el médico pone en juego su razonamiento clínico. Este razonamiento del profesional experto incluye la activación automática y no analítica de redes de conocimientos, que contienen datos clínicos relevantes de experiencias pasadas, en los cuales puede reconocer patrones que le ayudan a resolver la situación actual.1

La teoría de script se fundamenta en la existencia de estas redes conceptuales, cuya complejidad va creciendo con la experiencia para comprender, transformar, categorizar y actuar frente a una situación clínica determinada.2,3

Evaluar este razonamiento clínico es difícil con los modelos aplicados habitualmente en la formación profesional.4

La prueba de concordancia de script (PCS) (en inglés, Script Concordance Test -SCT-), descrita por Charlin y colaboradores en 1998,5 es un instrumento de evaluación destinado a medir el razonamiento médico.3 Se basa en comparar, frente a un caso específico, el desempeño del razonamiento clínico de los evaluados con el desarrollado por expertos.2

La PCS comprende 4 partes.3 Comienza con una viñeta clínica en la cual se presenta al evaluado el paciente o situación clínica por considerar. Luego se establece una hipótesis diagnóstica, terapéutica o de estudios complementarios, relacionada con la situación clínica descrita en la mencionada viñeta. A continuación, se da nueva información sobre el caso que pueda tener impacto sobre la hipótesis. Finalmente, se solicita que el evaluado establezca

cuánto piensa que la nueva información modifica la hipótesis inicial, utilizando clásicamente para ello una escala tipo Likert de cinco opciones (Tabla 1).

Tabla 1. Ejemplo de pregunta de una prueba de concordancia de script (adaptado de Carriere B et al. Ann Emerg Med200;53(5):647-52)

El núcleo de la PCS es que, ante una misma situación clínica no bien definida (viñeta), el médico considere varias hipótesis diagnósticas, de estudios complementarios o terapéuticas; que ante cada hipótesis se le ofrezca un "nuevo dato" y que, relacionando la viñeta con el nuevo dato, responda si esto hace la hipótesis inicial más o menos probable. Esto obliga al participante a incluir muchos parámetros en su decisión, lo que refleja la complejidad de las decisiones clínicas en contextos de incertidumbre.

Para asignar un puntaje a las diferentes opciones de respuesta, se requiere la participación previa de expertos, por lo general, más de 10 e, idealmente, 20. El puntaje que se asigna a cada opción dentro de cada pregunta depende de la cantidad de expertos que hayan elegido esa opción (Tabla 2). De esta forma, puede haber más de una respuesta correcta, aun con diferente puntaje. El puntaje del examen refleja el grado de concordancia con el panel de expertos.6

Tabla 2. Ejemplo de puntuación de una prueba de concordancia de script

La PCS ha sido utilizada en diferentes especialidades -oncología,7 otorrinolaringología,8 urología,9 ginecología5- y niveles de formación profesional -grado,10 posgrado11 y educación continua12-.

Nuestro objetivo fue describir la experiencia en este tipo de evaluación administrada a médicos residentes de Pediatría de 3er año en Argentina.

Experiencia nacional en pediatría

En marzo de 2016, el Grupo de Pediatras en Formación de la Sociedad Argentina de Pediatría (SAP) decidió efectuar una experiencia nacional sobre la aplicación de una PCS a médicos residentes de Pediatría de Argentina.

La planificación, desarrollo y administración de la evaluación llevó más de 12 meses. Se confeccionó una PCS que incluyó 10 casos clínicos, cada uno con su viñeta y tres hipótesis. Ante cada hipótesis, se ofreció un nuevo dato y los residentes debían responder si el nuevo dato, en el contexto del caso clínico, confirmaba, reforzaba, no modificaba, debilitaba o descartaba la hipótesis.

Los casos fueron preparados por tres profesionales con trayectoria en educación médica. Para confeccionar este examen, se solicitó la colaboración de 20 pediatras certificados con diferentes años de experiencia a partir de los cuales se obtuvieron las respuestas consideradas como punto de referencia. Se confeccionó el examen teniendo en cuenta que estaría dirigido a residentes de Pediatría de 3er año.

Se evaluó la confiabilidad del instrumento mediante el cálculo del coeficiente alfa de Cronbach,13 y se obtuvo un valor de 0,49. A pesar de tratarse de un valor limitado, se decidió continuar con la prueba por ser una experiencia en la que se pretendía poner a punto toda la metodología.

La evaluación fue cargada en la plataforma que el Consejo de Evaluación Profesional de la SAP utilizaba para exámenes de certificación profesional a distancia.

Se invitó a participar a todas las residencias de Pediatría acreditadas por el Consejo de Acreditación de Espacios de Formación (CAEF) de la SAP, aclarando que la participación era voluntaria, tanto para las instituciones como para los residentes de cada una de ellas y limitada a los médicos residentes de 3er año.

Toda la actividad fue coordinada por el Grupo de Pediatras en Formación y acompañada desde la Secretaría de Educación Continua y el CAEF de la SAP, contando con la autorización y apoyo de la Comisión Directiva de la Institución.

Se estableció que la prueba se desarrollaría en una misma jornada, con una ventana de 3,5 horas para acceder a ella. En los días previos, se enviaron instrucciones detalladas y ejemplos de la prueba a los responsables de los programas de residencia participantes para que las distribuyeran entre sus médicos residentes. Los participantes debían registrarse previamente en el portal de la SAP (https://www.sap2.org. ar/i2/olvido_cs.php) para poder ingresar a la plataforma que contenía la evaluación.

Desarrollo de la prueba

La prueba se llevó a cabo el 9/11/2016, con el acceso habilitado entre las 8.30 y las 12.00 horas.

Se inscribieron 311 residentes de 3er año de 56 sedes de residencia, y realizó el examen el 86,17% de los inscritos (268 residentes). De los 43 residentes inscritos que no completaron la prueba, únicamente uno comenzó el examen, pero no lo finalizó; los 42 restantes no se conectaron. Participaron residentes de todas las regiones que componían la SAP (Tabla 3).

Tabla 3. Participantes en el prueba de concordancia de script por región de la Sociedad Argentina de Pediatría1

La duración promedio del examen fue de 46,1 minutos ± 27,1 minutos. El puntaje promedio obtenido en el examen fue de 65,3 ± 7,47 puntos (sobre un máximo de 100).

Respecto a los que no se conectaron, al indagar los motivos (por reporte de los responsables de programa), los personales, vacaciones y falla en la comunicación de la fecha del examen por parte del coordinador de la residencia fueron los más frecuentes.

Luego de la prueba, se invitó a los participantes a contestar una encuesta de satisfacción de usuario. Esta indagó sobre 6 aspectos de la actividad y fue respondida por 108 sujetos (Tabla 4).

Tabla 4. Prueba de concordancia de script. Resultados de la encuesta de satisfacción de los participantes

Los resultados de la prueba fueron devueltos a cada responsable de programa de residencia respectivo, y se identificó a los sujetos exclusivamente por su número de documento. La información de los resultados obtenidos por cada residente quedó a cargo de los respectivos responsables de programa.

Con los resultados de los participantes en la evaluación, se volvió a evaluar la confiabilidad del instrumento, y se obtuvo un coeficiente alfa de Cronbach de 0,29. La confiabilidad de los 30 ítems utilizados en esta evaluación fue descrita como mala en 3 de ellos, regular en 9 y buena en 18. Se procedió a calcular la cantidad de ítems (o hipótesis) necesarios para alcanzar un valor de confiabilidad aceptable, y se estimó que, si se aumentaran a 180 ítems (equivalente a 60 casos), se conseguiría un valor del coeficiente alfa de Cronbach aceptable (0,71).

DISCUSIÓN

Se llevó a cabo la primera experiencia de implementación de una evaluación para residentes avanzados de Pediatría a nivel nacional, por internet y en tiempo real. Para ella, se utilizó una herramienta que, hasta donde se sabe, es la primera vez que se emplea en esta magnitud en Argentina.

Debido a que la PCS evalúa razonamiento médico, se eligió esta población (residentes de 3er año) para aplicarla por encontrarse en un momento en el que se esperaba que hubieran alcanzado cierto nivel en esa aptitud.

En la formación médica, son diversas las competencias para alcanzar y variados los escenarios de aprendizaje para recorrer, por lo que las modalidades de evaluación deben ser diferentes para adecuarse a ellos. La modalidad de evaluación utilizada en esta experiencia no sustituye otros instrumentos de evaluación,6 sino que complementa las herramientas de que disponen los formadores.

Considerando que el CAEF reconoce 117 sedes de residencia de Pediatría acreditadas,14 y que estas podrían contar con un número aproximado de 500 residentes por cada año de formación, haber contado con 268 residentes de 56 sedes marca la representatividad de la experiencia.

La opinión de los participantes también fue evaluada. La encuesta administrada luego del examen mostró que no hubo problemas técnicos trascendentes, un limitado grado de satisfacción y que la evaluación no había interferido significativamente con las demás actividades de la residencia.

Si bien esta modalidad de evaluación ya ha sido utilizada en el posgrado inmediato,11 incluso por vía electrónica,9 esta fue la primera vez que se ofreció una evaluación a todos los residentes de Pediatría del país, utilizando una herramienta novedosa, a través de internet y en tiempo real.

Al igual que en otras experiencias reportadas, el tiempo necesario para completar la evaluación fue inferior a una hora y el puntaje promedio obtenido por los alumnos se ubicó entre 60 y 70 puntos (sobre 100).11,15

Las limitaciones que surgen de la acotada experiencia de los redactores en este particular tipo de evaluación y el potencial sesgo que implica utilizar un relativamente bajo número de casos son elementos que pueden resolverse con la profundización de la experiencia. De igual forma, la mayor parte de los inconvenientes logísticos presentados fueron resueltos y aquellos que no lo fueron pueden más fácilmente ser considerados en próximas ediciones.

La experiencia ha mostrado la factibilidad de la propuesta y abre el camino para establecer otras instancias de evaluación conjunta que, junto con el establecimiento de perfiles profesionales específicos,16 colaboren para establecer un estándar mínimo en la formación de los futuros pediatras.

Agradecimientos

A los expertos y a los responsables de los programas de residencia que participaron de la experiencia por su desinteresada colaboración.

A la Dra. Lucrecia Arpi por la revisión crítica del manuscrito y sus oportunos aportes.

REFERENCIAS

1. Norman G. Building on experience--the development of clinical reasoning. N Engl J Med 2006;355(21):2251-2.

2. Charlin B, Roy L, Brailovsky, C, et al. How to build a script concordance test to assess the reflective clinician. Teach Learn Med 2000;12(4):189-95.

3. Bogado J. Test de Concordancia Script (TCS). Rev Educ Cienc Salud 2010;7(2):109-11.

4. Lubarsky S, Dory V, Duggan P, et al. Script concordance testing: From theory to practice: AMEE guide No. 75. Med Teach 2013;35(3):184-93.

5. Charlin B, Brailovsky C, Leduc C, et al. The Diagnosis Script Questionnaire: A New Tool to Assess a Specific Dimension of Clinical Competence. Adv Health Sci Educ Theory Pract 1998;3(1):51-8.

6. Fournier JP, Demeester A, Charlin B. Script concordance tests: guidelines for construction. BMC Med Inform Decis Mak 2008;8:18.

7. Lambert C, Gagnon R, Nguyen D, et al. The script concordance test in radiation oncology: validation study of a new tool to assess clinical reasoning. Radiat Oncol 2009;4:7.

8. Kania RE, Verillaud B, Tran H, et al. Online script concordance test for clinical reasoning assessment in otorhinolaryngology: the association between performance and clinical experience. Arch Otolaryngol Head Neck Surg 2011;137(8):751-5.

9. Sibert L, Darmoni SJ, Dahamna B, et al. On line clinical reasoning assessment with Script Concordance test in urology: results of a French pilot study. BMC Med Educ 2006;6:45.

10. Talvard M, Olives JP, Mas E. Evaluation des étudiants en médecine lors de leur stage en gastro-entérologie pédiatrique par un test de concordance de script. Arch Pediatr 2014;21(4):372-6.

11. Carrière B, Gagnon R, Charlin B, et al. Assessing clinical reasoning in pediatric emergency medicine: validity evidence for a Script Concordance Test. Ann Emerg Med 200;53(5):647-52.

12. Ruiz JG, Tunuguntla R, Charlin B, et al. The script concordance test as a measure of clinical reasoning skills in geriatric urinary incontinence. J Am Geriatr Soc 2010;58(11):2178-84.

13. Bland JM, Altman DG. Cronbach's alpha. BMJ 1997;314(7080):572.

14. Sociedad Argentina de Pediatría. Listado de Residencias de Clínica Pediátrica y de Especialidades Pediátricas acreditadas. Actualización de marzo de 2016. [Acceso: 14 de febrero de 2017]. Disponible en: http://www.sap.org. ar/docs/caef/ListadoResidenciasAcreditadas2016.pdf.

15. Iravani K, Amini M, Doostkam A, et al. The validity and reliability of script concordance test in otolaryngology residency training. J Adv Med Educ Prof 2016;4(2):93-6.

16. Argentina. Ministerio de Salud. Marco de referencia para la formación en residencias médicas, especialidad pediatría. 2010. [Acceso: 12 de abril de 2017]. Disponible en: http://www.msal.gob.ar/residencias/images/stories/descargas/acreditaciones/adjuntos/pediatria.pdf.

Creative Commons License All the contents of this journal, except where otherwise noted, is licensed under a Creative Commons Attribution License