Español (pdf)
Articulo en XML
Referencias del artículo
Traducción automática
Enviar articulo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
INTRODUCCIÓN
La selección de candidatos para programas de formación médica como las residencias médicas y fellowships, es un proceso esencial en el que las instituciones invierten tiempo y recursos. El objetivo es seleccionar a aquellos individuos que cumplan con las habilidades, tanto cognitivas como no cognitivas, demandadas por cada centro. 1
En Argentina, el proceso de selección de los residentes y fellows suele dividirse en dos etapas consecutivas: la primera consiste en la evaluación del conocimiento a través de un examen de opción múltiple, y la segunda en entrevistas donde se evalúan competencias no cognitivas como el profesionalismo, el trabajo en equipo o la comunicación. 2 Estas características son mejores predictores de éxito personal, académico y profesional que las competencias cognitivas evaluadas en exámenes estandarizados. 3) (4) (5 Sin embargo, existe evidencia que indica que la entrevista tradicional no es una herramienta confiable para valorar dichas competencias. 6
Varios factores comprometen la confiabilidad de la entrevista convencional, entre ellos la variabilidad en las capacidades del entrevistador, las preguntas planteadas, posibles sesgos como la benevolencia o rigidez, y la especificidad de contexto de cada entrevista. 6) (7) (8) (9 Adicionalmente, la percepción sobre un candidato podría verse influida de forma artificial si el panel de entrevistadores tiene acceso previo a su historial académico. 9 Además, existe una notable variabilidad entre los entrevistadores, atribuible a factores como experiencia del entrevistador y sesgos culturales, de edad o género. 10 Estas inconsistencias han llevado a que el proceso se defina como una laboriosa y elaborada “lotería”. 7
En vista de estas limitaciones, emerge la propuesta de las Mini Entrevistas Múltiples (MME). Este enfoque busca mitigar el sesgo y aumentar la objetividad al incrementar el número de entrevistadores y estandarizar las preguntas. 9 Las MME ofrecen una evaluación más holística de los candidatos, manteniendo validez, aceptabilidad, y confiabilidad. 11) (12) (13) (14 Basadas en los Exámenes Clínicos Objetivos Estructurados (OSCE), estas entrevistas consisten en una serie de estaciones consecutivas donde cada entrevistador evalúa distintos aspectos del postulante. 15 Esta estructura garantiza estandarización y consistencia, y permite además una adaptación según las necesidades y expectativas de cada programa. 16
Este modelo ha sido implementado en diversos programas de residencia con resultados favorables en términos de confiabilidad y validez 2) (9) (17) (18) (19) (20. Se destaca su carácter transparente y equitativo, y que se lo percibe como justo y libre de sesgos socioeconómicos, de género o culturales.20) (21
En los últimos años, nuestra institución ha incorporado las MME en el proceso de selección para residencias y subespecialidades, incluyendo Cardiología. 22 El presente estudio tiene como objetivo evaluar la confiabilidad, factibilidad y aceptación del modelo MME con 10 estaciones para seleccionar residentes de cardiología y fellows de subespecialidades. 18
MATERIAL Y MÉTODOS
Diseño del estudio
Se realizó un estudio observacional y prospectivo con análisis psicométrico en un centro monovalente especializado en patología cardiovascular de alta complejidad. Se incluyó a postulantes para la residencia en Cardiología y fellowship en Ultrasonido Cardiovascular (UC) y Medicina Nuclear (MN) durante los años 2018, 2019 y 2022. Durante los años 2020 y 2021 siguiendo las normas de seguridad COVID-19, las MME no fueron realizadas.
Los aspirantes fueron seleccionados a partir de un examen escrito elaborado por el staff del servicio de Docencia e Investigación de nuestra institución con preguntas de conocimiento, razonamiento o aplicación en formato de opción múltiple. Dicho examen fue confeccionado siguiendo los criterios de Galofré 23 respetando el siguiente número de preguntas y proporción de contenidos: 150 preguntas, 70% medicina interna, 10% ginecología y obstetricia, 10% pediatría y 10% cirugía para los postulantes a la residencia de Cardiología; 100 preguntas sobre Cardiología Clínica para los postulantes de UC y MN. A partir delas calificaciones obtenidas, se convocaron a la siguiente etapa de MME entre 4 y 5 postulantes por cada puesto vacante por año, respetando el orden de mérito establecido. Los candidatos fueron invitados a participar telefónicamente y vía email y dieron su consentimiento para participar voluntariamente de dicha instancia de evaluación. Participaron como entrevistadores profesionales de distintas áreas de la salud (médicos de distintas especialidades, enfermeros, nutricionistas y psicólogos). Dichos entrevistadores fueron capacitados en la metodología de las MME y recibieron instrucciones acerca de cómo calificar a los entrevistados.
Se diseñaron 10 estaciones en las cuales se plantearon distintos escenarios. En cada estación se presentaba una situación-problema semejante a la realidad a partir de la cual fueron evaluadas cualidades y actitudes del postulante relevantes para los programas de formación médica y acordes a la visión de la institución. Cada escenario tenía 3 modalidades: 1 ) interacción con un tercero, en el que el entrevistador es observador pasivo de la interacción del aspirante con un actor o con otro aspirante (4 estaciones); 2 ) presentación de una viñeta situacional y solicitud de toma de posición con fundamentación (4 estaciones); 3 ) entrevista semi estructurada con preguntas acerca de la motivación en la selección de la especialidad, de la institución y actividades extracurriculares que hayan brindado experiencia en la formación como médico (2 estaciones). Durante el proceso de la MME, los candidatos fueron identificados a partir de un número de orden, sin revelar sus datos filiatorios, para reducir sesgos que pudieran presentarse relacionados al desempeño académico que pudieran conocer los evaluadores.
En cada estación, fueron evaluados múltiples dominios no-cognitivos de los postulantes: trabajo en equipo, capacidad de argumentación, profesionalismo, razonamiento ético, motivación, feedback, aceptación de límites profesionales y comunicación. Además, los entrevistadores fueron instruidos para identificar determinadas “banderas rojas” en el desempeño de los postulantes, es decir, actitudes conflictivas que denoten falta de profesionalismo a partir de las cuales podrían excluir al candidato del proceso de selección (por ejemplo: no acatar un directiva anticipada expresada por un paciente). A partir de las calificaciones obtenidas en el proceso de MME, se elaboró un nuevo ranking para cada una de las especialidades que fue tenido en cuenta para la selección final de los ingresantes a los programas de Residencia y Fellowship.
Al final de cada jornada, tanto los entrevistadores como los candidatos fueron invitados a responder una encuesta de satisfacción de tipo formulario web, para evaluar la aceptabilidad de las MME como parte del proceso de selección. Además, se analizó el tiempo dedicado a cada jornada de MME en relación con el número de postulantes para valorar la factibilidad del método.
Análisis estadístico
Para determinar la confiabilidad de la herramienta de evaluación se llevó a cabo un estudio de generalizabilidad, el cual es una extensión de la teoría clásica de confiabilidad que permite investigar las fuentes de error que influyen en las calificaciones obtenidas en una evaluación.24
Mediante el análisis de los componentes de la varianza se logra cuantificar las fuentes de variación sin recurrir a diseños experimentales complejos. El coeficiente G cuantifica la diferenciación correcta entre los objetos de estudio, es decir, indica cuán bien el procedimiento ha clasificado los objetos en una escala de medición. Coeficientes G ≥0,80 indican que el modelo evaluado tiene una precisión muy satisfactoria. Coeficientes entre 0,70 y 0,80 indican precisión moderada.
Asimismo, es posible planificar diferentes estrategias de número de ocasiones de evaluación, formatos de evaluación y entrevistadores necesarios, para obtener puntuaciones confiables con un muestreo mínimo. Esto se denomina estudio D u Optimización. En este estudio se consideraron los residentes (R') como el objeto bajo medición y las estaciones (E') como facetas para determinar la confiabilidad de la herramienta. Se calculó el coeficiente G de generalizabilidad y se plantearon alternativas para optimizar el diseño (estudio D). El análisis fue realizado utilizando el software EduG 6.1-e.25
Consideraciones éticas
Durante toda la realización del estudio se garantizó la confidencialidad y el anonimato de las personas que participaron. Se brindó a los participantes una invitación oral para participar de la encuesta, mencionando los objetivos de la misma y enfatizando en el carácter voluntario de su participación. Este estudio se realizó acorde a los principios de la declaración de Helsinski y fue aprobado por el comité de ética de nuestra institución.
RESULTADOS
Durante los años 2018, 2019 y 2022 fueron convocados a las MME un total de 76 postulantes a la residencia en Cardiología (49) y fellowship en UC (23) y MN (4). De los 76 postulantes, asistieron finalmente 75. Las MME se llevaron cada año durante una única jornada. Los candidatos rotaron por un circuito constituido por 11 estaciones (10 estaciones de evaluación y 1 estación de descanso) con una duración total de 90 minutos. Antes de comenzar el circuito, los postulantes recibieron información acerca de la metodología de las MME y la estación de inicio en el circuito fue asignada por azar. Se asignó un número de orden a cada candidato para evitar sesgos relacionados con la identidad del postulante.
Cada estación se llevó a cabo en una habitación diferente. Los candidatos contaban con 1 minuto para leer la viñeta de la situación-problema y la consigna asignada y 7 minutos para desarrollar cada estación. Al finalizar el tiempo estipulado, una señal sonora indicaba que los participantes debían pasar a la siguiente estación. Los entrevistadores contaron con una ficha de evaluación para cada candidato con una escala visual analógica para valorar los dominios no cognitivos observados y una calificación global del desempeño en cada estación. Los puntajes obtenidos fueron volcados a una tabla en que se asignó un valor relativo para cada dominio y el score global (ver apéndice). Además, contaban con un espacio de texto libre para justificar la calificación obtenida por el postulante y para señalar la presencia de aquellas “banderas rojas” que pudieran dejar al postulante excluido del proceso de selección.
Con respecto a la confiabilidad, la Tabla 1 muestra los diferentes coeficientes G y la varianza asociada a cada faceta de diferenciación acorde a los diferentes diseños de generalizabilidad. Se tuvieron en cuenta 2 facetas: el puntaje obtenido incluyendo el score global por estación y el puntaje sin incluir el mismo. Para el modelo de MME analizado se obtuvo un coeficiente G relativo de 0,62 con el score global y 0,61 sin él.
Tabla 1 Análisis de generalizabilidad del modelo de MME de 10 estaciones
| Coeficiente G relativo | % Varianza asociado a la faceta de diferenciación | |
|---|---|---|
| Con score global | 0,62 | 11,7 |
| Sin score global | 0,61 | 11,6 |
El número óptimo de estaciones fue evaluado a partir del estudio de decisión que se muestra en la Tabla 2. En el análisis realizado, aumentando el número de estaciones a 16, se obtiene un incremento del coeficiente G a 0,72.
Tabla 2 Estudio de decisión (estudio D): Coeficiente G relativo para cada diseño de generalización
| Número de estaciones | R’/E’ |
|---|---|
| 10 | 0,62 |
| 12 | 0,66 |
| 14 | 0,69 |
| 16 | 0,72 |
Al finalizar la jornada postulantes y entrevistadores respondieron una encuesta de satisfacción sobre las MME (Figuras 1 y 2).
El 92% de los postulantes valoró a las MME globalmente con una calificación de 4 o 5 puntos en una escala del 1 al 5. El 88% de los postulantes refirió que tuvo tiempo suficiente para expresar sus ideas. El 81% de los candidatos destacaron que prefirieron a las MME antes que otros tipos de entrevistas como método de selección. La mayoría refirió que las MME están libres de prejuicios culturales y de género.
En cuanto a los entrevistadores, el 90% de ellos consideró que tuvo tiempo suficiente para evaluar a los candidatos y el 90% de ellos consideró que el día de la actividad no fue excesivamente agotador.
Respecto a la factibilidad del método, se evaluó el tiempo dedicado por postulante. En cada jornada de MME se llevaron a cabo 2 circuitos de 10 estaciones con un descanso para los entrevistadores entre cada uno de ellos. Con un total de 22 postulantes en un tiempo estimado de 210 minutos (90 minutos para el primer circuito + 30 minutos de descanso para los entrevistadores + 90 minutos para el segundo circuito), el tiempo dedicado por postulante fue de 9,5 minutos, lo cual es inferior al tiempo habitualmente utilizado para la entrevista tradicional de aproximadamente 15 minutos. Por otro lado, el porcentaje de presentismo de los postulantes fue del 99% (sólo hubo 1 ausente). El 100% de los postulantes que se presentaron pudieron completar el 100% de las estaciones en los tiempos estipulados.
DISCUSIÓN
Este trabajo describe la experiencia en los últimos 5 años de la implementación del modelo de MME en el proceso de selección de residentes y fellows en un centro cardiovascular.
De acuerdo con nuestras expectativas las MME fueron factibles de implementar con adecuados valores de confiabilidad y con alta aceptación por parte de postulantes y entrevistadores como método de evaluación de competencias no cognitivas en médicos postulantes a residencia y fellows.
Con respecto a la confiabilidad evaluada a través del análisis de la generalizabilidad, el valor del coeficiente G fue 0,61, similar a los publicados en la literatura internacional. Eva y col. (2004) reportaron un coeficiente de confiabilidad de 0,65 para un modelo de MME de 10 estaciones. 9 Dore y col. aplicaron un modelo de 7 estaciones para la selección de postulantes a residencia de pediatría, ginecología y medicina interna, y obtuvieron un coeficiente de confiabilidad entre 0,55 y 0,72. 26 Además, los coeficientes G obtenidos para el análisis con y sin score global son similares, por lo que este puntaje no impresiona estar asociado a una fuente de variación significativa.
El estudio D realizado demuestra que, aumentando el número de estaciones, la confiabilidad del modelo mejora, obteniéndose un coeficiente G de 0,72 para 16 estaciones. En la línea de lo publicado por Eva, Hofmeister y Roberts, el número de estaciones impacta positivamente en la confiabilidad del modelo y este es el factor que más influye. 9) (27) (28 Podría plantearse para futuros procesos de selección, diseñar MME con mayor cantidad de estaciones, aunque esto pudiera ir en contra de la factibilidad del método, ya que implica involucrar un mayor número de personal y recursos.
Además, hemos podido demostrar la aceptabilidad de la herramienta entre postulantes y entrevistadores como fue reportado en estudios previos. Los candidatos refirieron poder expresar sus ideas a lo largo de las MME y prefirieron este método de evaluación por sobre las entrevistas convencionales. Probablemente este último punto esté vinculado con la presencia de múltiples observadores que minimiza la presencia de subjetividades y sesgos que suelen estar presentes en la entrevista tradicional.
Los entrevistadores encontraron a las MME como un método que no resultó excesivamente agotador, tuvieron tiempo suficiente para calificar a los postulantes y la mayoría pudo disfrutar de la experiencia.
En términos del tiempo empleado en esta metodología, las MME impresionan ser factibles, con un tiempo dedicado a cada postulante similar o incluso inferior a la entrevista tradicional y con un elevado nivel de presentismo. También cabe destacar que las MME pudieron ser llevadas a cabo en 3 oportunidades distintas en nuestro centro exitosamente, lo cual habla de la factibilidad del método.
Por otro lado, podemos destacar que este método de selección impresiona estar libre de sesgos culturales.
Como limitaciones de nuestro trabajo, podemos mencionar que este estudio fue realizado en un centro único centro privado de Argentina, por lo que la factibilidad y aceptabilidad del método podrían no ser las mismas para otras instituciones. Por otro lado, en este trabajo se incluyen datos de MME realizadas antes y después de la pandemia por COVID-19, por lo que el contexto podía estar influenciando los resultados en términos de confiabilidad. Además, cabe destacar el esfuerzo extra que implican las MME para los profesionales de la salud en términos de capacitación en esta metodología y desarrollo de las estaciones y herramientas de evaluación. Las instituciones que incorporen este sistema de evaluación, deberán destinar un recurso humano específico para esta tarea.
CONCLUSIÓN
Nuestro estudio proporciona evidencia sobre la viabilidad de implementar un modelo MME de 10 estaciones para la selección de candidatos al programa de residencia en cardiología y subespecialidades en un centro cardiovascular en Argentina. El modelo presentó alto nivel de aceptabilidad por los candidatos y los entrevistadores, con un nivel aceptable de confiabilidad para evaluar competencias no cognitivas, y podría recomendarse como un método para la selección de profesionales.
