SciELO - Scientific Electronic Library Online

 
vol.117 número4La estructura factorial de la Escala hospitalaria de Ansiedad y Depresión en pacientes adolescentes con enfermedad crónicaValidez y confiabilidad de la escala de Tal modificada en niños chilenos: Estudio multicéntrico índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

  • No hay articulos citadosCitado por SciELO

Links relacionados

  • No hay articulos similaresSimilares en SciELO

Compartir


Archivos argentinos de pediatría

versión impresa ISSN 0325-0075versión On-line ISSN 1668-3501

Arch. argent. pediatr. vol.117 no.4 Buenos Aires ago. 2019

http://dx.doi.org/10.5546/aap.2019.e333 

ARTÍCULO ORIGINAL

http://dx.doi.org/10.5546/aap.2019.e333

Instrumento para evaluar proyectos de investigación que concursan a beca en la Sociedad Argentina de Pediatría: Validación mediante el método Delphi

 

Dra. Silvia Cainoa, Dra. Paula Domínguezb, Dra. Verónica Aguerrec y Dra. Vanesa Castellanod

a. Servicio de Crecimiento y Desarrollo, Hospital de Pediatría Garrahan.
b. Docencia e Investigación, Hospital General de Niños Pedro de Elizalde.
c. Servicio de Neumonología, Hospital de Pediatría Garrahan.
d. Epidemiología, Hospital de Niños Ricardo Gutiérrez.

Correspondencia: Dra. Silvia Caino: scaino@garrahan.gov.ar

Financiamiento: Ninguno.

Conflicto de intereses: Ninguno que declarar.

Colaboradores: Dr. Enrique Abeyá Gilardon, Dr. José Ceriani Cernadas, Dra. Graciela Demirdjian, Dr. Pablo Durán, Dr. Ramón Exeni, Dr. Fernando Ferrero, Dr. Carlos Figueroa Turienzo, Dr. Facundo García Bournissen, Dra. Angela Gentile, Dr. Norberto Giglio, Dr. Carlos Grandi, Dr. Horacio Lejarraga y Dra. Laura Moreno

Recibido: 23-10-2018
Aceptado: 2-1-2019

 


RESUMEN

El objetivo del presente trabajo fue validar la forma y el contenido, mediante un método de consulta a expertos, como es el método Delphi, del instrumento para evaluar proyectos de investigación que concursan a beca en la Sociedad Argentina de Pediatría.
Material y métodos. Un grupo coordinador seleccionó el panel de expertos en investigación pertenecientes a la Sociedad, diseñó y analizó cada una de las rondas de consulta. Los cuestionarios semiestructurados fueron enviados por correo electrónico en forma personalizada. Se estableció como criterio de consenso un acuerdo entre los expertos > 80 %. En cada ronda, se reformularon los aspectos no consensuados y se agregaron nuevos aspectos sugeridos por los expertos. Se consideró como medida de estabilidad para concluir la consulta cuando más del 70 % de los expertos no modificaron su opinión en rondas sucesivas.
Resultados. Participaron del proceso 13 expertos en investigación. Luego de 3 rondas, finalizó el método de consulta. El instrumento consensuado contiene 47 ítems. El 10 % de la puntuación total corresponde a presentación general; el 40 %, a calidad metodológica; el 20 %, a relevancia-aplicabilidad; el 20 %, a factibilidad; y el 10 %, a antecedentes del becario y del director.
Conclusiones. Se validó la forma y el contenido, mediante consenso de expertos, del instrumento de evaluación de proyectos de investigación que concursan a becas de investigación en la Sociedad y se lograron criterios objetivos de evaluación.

Palabras clave: Método Delphi; Protocolo de investigación clínica; Evaluación educacional.


 

INTRODUCCIÓN

La Sociedad Argentina de Pediatría, como organización dedicada a la salud infantil, apoya la formación en investigación de médicos jóvenes de todo el país otorgando, anualmente, de 7 a 8 becas de investigación. Esto tiene como objetivo mejorar la salud de la población y crear la capacidad regional para perfeccionar la calidad de la investigación.

Se presentan, por año, de 15 a 20 proyectos. El jurado está compuesto, según lo establecido en el reglamento, por evaluadores pertenecientes a distintas áreas de la Sociedad coordinados por la Subcomisión de Becas y Premios.1 Esta, en los últimos años, ha trabajado en la adaptación del "instrumento" de evaluación para lograr criterios objetivos de selección. Al respecto, Albornoz y col.,2 señalan que, en ocasiones, la falta de criterios objetivos en la evaluación de proyectos resulta en inconsistencias en la evaluación.

Otros autores sostienen que, desde un punto de vista métrico, los instrumentos que se utilicen para la evaluación han de ser objetivos, claros, comprensibles por las partes, preferentemente cuantitativos, fiables y válidos.3,4

Al respecto, se ha descrito una importante variedad de pautas para evaluar de forma crítica artículos originales del área biomédica, con un amplio rango de ítems para considerar (entre 20 y 169).5,6 Sin embargo, no ocurre lo mismo con la evaluación de proyectos en los que los criterios no están tan bien definidos. Si bien la mayoría de los autores proponen evaluar cuatro aspectos del protocolo (relevancia del tema, aplicabilidad, factibilidad y calidad metodológica), no se ha encontrado, hasta el momento, ningún instrumento validado en nuestro medio.7-9

El objetivo del presente trabajo fue validar la forma y el contenido, mediante un método de consulta a expertos, como es el método Delphi, del instrumento para evaluar proyectos de investigación que concursan a beca en la Sociedad Argentina de Pediatría.

MATERIAL Y MÉTODOS

Fase preliminar

En primer lugar, siguiendo la metodología Delphi, se formaron dos grupos: el coordinador y el de expertos.

El grupo coordinador (SC, PD, VA, VC) fue el encargado de seleccionar e invitar a los expertos, adaptar el instrumento de evaluación preexistente, analizar cada una de las rondas y supervisar la marcha del proceso de consulta.

Se invitó a participar del estudio a 17 expertos. Se consideró experto a aquella persona con un cargo de conducción en investigación, investigador o partícipe en trabajos de investigación en alguna institución nacional reconocida, revisor de revistas indexadas y/o, al menos, con diez trabajos publicados en su área de trabajo, que formara parte de la Sociedad Argentina de Pediatría y aceptara participar del proceso.

El grupo coordinador realizó la adaptación del instrumento de evaluación de proyectos, utilizado en convocatorias previas, siguiendo las recomendaciones de J. Muñiz y E. Fonseca Pedrero (2008).10 Para la definición del constructo o aspecto por medir, se analizó el reglamento vigente de la Sociedad y se realizaron búsquedas bibliográficas en las bases de datos Pubmed y Lilacs utilizando las palabras clave "protocolo de investigación", "proyecto de investigación", "evaluación por expertos", "evaluación por pares".11 Se decidió incluir 50 ítems distribuidos en los siguientes dominios: relevancia/interés, aplicabilidad, factibilidad, calidad metodológica y presentación general del proyecto.8,12 La escala de puntuación propuesta en forma arbitraria fue numérica, con una escala de Likert de 5 puntos (en la que 1 no cumplía y 5 cumplía totalmente el ítem).

Por último, se procedió al armado de la primera versión del cuestionario (grilla o instrumento de evaluación de proyectos) y se procedió a la fase de consulta.

Fase de consulta

Se exploró la validez de forma y contenido del instrumento mediante el método Delphi, objetivo del presente trabajo. La metodología Delphi se define como un método de estructuración de un proceso de comunicación grupal, efectivo a la hora de permitir a un grupo de individuos, como un todo, tratar un problema complejo. Lo que se persigue con esta técnica es obtener consenso o acuerdo de los especialistas sobre el problema planteado en lugar de dejar la decisión a un solo profesional.13

Los aspectos por consensuar fueron los siguientes: a) dominios e ítems del instrumento, b) criterios de puntuación y c) complementos de la grilla.

El proceso de consulta consistió en una serie de rondas de cuestionarios enviados por correo electrónico, en forma personal a cada uno de los expertos, entre marzo y septiembre de 2017. La ronda inicial consistió en una serie de 55 preguntas con escala de respuesta de Likert de 5 puntos (opciones de "muy en desacuerdo" a "totalmente de acuerdo") y 3 preguntas abiertas.

Las rondas siguientes consistieron en reformular los aspectos que no alcanzaron consenso teniendo en cuenta los argumentos de los expertos, agregar nuevos aspectos para consensuar sugeridos en la ronda anterior y repreguntar a los expertos que no estuvieron de acuerdo con las afirmaciones consensuadas solicitando argumentos.

Se estableció como criterio de consenso un acuerdo entre los expertos > 80 %. Se consideró como medida de estabilidad, para concluir el proceso de consulta, cuando > 70 % de los expertos no modificaron la respuesta respecto a las rondas anteriores.

Finalmente, la lista de aspectos consensuados fue revisada por cada uno de los expertos. Luego de este proceso, se llegó al instrumento final.

El proyecto fue aprobado por la Comisión Directiva de la Sociedad Argentina de Pediatría.

RESULTADOS

Aceptaron participar 14 de 17 expertos invitados, 13 de la región metropolitana y 1 de la filial Córdoba. Se eliminó del análisis a uno de los expertos por responder solo la primera ronda. La mediana de años de experiencia en investigación fue 30 (r: 19-39) años. Luego de 3 rondas, finalizó el proceso de consulta esquematizado en la Figura 1.


Figura 1. Resumen, proceso, consulta

a. Dominios e ítems del instrumento:

Se acordó incluir en el instrumento de evaluación de proyectos 47 ítems, de los cuales 8 corresponden a presentación del manuscrito; 32, a calidad metodológica; 4, a relevancia científica y aplicabilidad, y 3, a factibilidad. En la Tabla 1, se describe cada uno de los ítems y el nivel de consenso. En la primera ronda, se consensuó el 87 % de los ítems propuestos. Los dominios que mostraron mayores controversias fueron los referentes a relevancia y aplicabilidad.

Tabla 1. Instrumento para evaluar proyectos de investigación. Ítems y dominios consensuados por expertos

b. Criterios de puntuación:

Se acordó cuantificar la importancia relativa de los cuatro dominios, tal como se describe en la Tabla 2, de forma que la evaluación final de un proyecto de investigación resultara de la suma ponderada de cada una de sus partes. El 91,5 % de los expertos acordó que el proyecto sería rechazado si no cumpliera el 60 % (r: 4090) del dominio "calidad metodológica" y si no cumpliera con la totalidad de los aspectos éticos evaluados (el 100 % de acuerdo), independientemente del puntaje global.

Tabla 2. Criterio de puntuación

Se acordó incluir también la evaluación de los antecedentes del postulante a la beca (acuerdo: el 92 %) y los antecedentes del director de beca (acuerdo: el 85 %). La mediana del puntaje otorgado a los antecedentes del becario fue del 5 % y del director de beca, del 7,5 % del puntaje global.

c. Complemento de la grilla:

La totalidad de los expertos acordaron que el instrumento dispondría de un espacio para que el evaluador realizara los comentarios que considerara pertinentes acerca de aquellos ítems con puntaje desfavorable; y el 92,8 % consensuó que los comentarios serían enviados a posteriori a los postulantes para que pudieran mejorar su proyecto. El 84,6 % de los expertos estuvo de acuerdo en complementar el instrumento con un instructivo (glosario) de términos metodológicos para facilitar la tarea del evaluador.

Los aspectos que no lograron acuerdo luego de las rondas de consulta fueron los siguientes: 1) La escala de puntuación de cada uno de los ítems: el 66,6 % de los expertos acordó escala de Likert de 5 puntos, mientras que otros prefirieron escala de Likert de 3 y de 4 puntos. 2) Obtención del puntaje total: el 55,4 % de los expertos prefirió la sumatoria de cada uno de los ítems; otros, promediar los ítems de cada dominio y luego sumar los promedios, y también algunos expertos sugirieron evaluar la calidad metodológica por un lado y la pertinencia del estudio por otro y luego proceder a la decisión general. 3) Ítem "opinión general del evaluador" (proyecto candidato, o no, a obtener una beca): solo el 76,9 % de los expertos acordaron incluir este ítem; los que se mostraron en desacuerdo argumentaron su decisión basados en la subjetividad del ítem. 4) Tratamiento del ítem "no aplica": el 63,6 % prefirieron recalcular el puntaje total de ese dominio sin considerar este ítem, mientras otros expertos prefirieron otorgar al ítem el puntaje máximo o el mínimo.

La totalidad de los expertos coincidió en que el instrumento consensuado resultaba fácil de llenar, en que el lenguaje era claro y pertinente, y en que la descripción de cada uno de los ítems facilitaría la tarea del evaluador.

DISCUSIÓN

Luego de tres rondas de consulta, el grupo de expertos consideró válido el contenido del instrumento para evaluar proyectos de investigación que concursaban a beca en la Sociedad. La versión final del instrumento incluyó 47 ítems ponderados y distribuidos de manera conveniente en cuatro dominios.

Las principales diferencias entre el instrumento recientemente consensuado por expertos y el anterior fueron, por un lado, la inclusión de una serie de ítems por evaluar dentro de cada dominio, lo que permite que los evaluadores utilicen los mismos criterios de calidad. Por otro lado, se agregó el dominio "presentación general".

Si bien no parece razonable denegar un buen proyecto por defectos de forma, parece existir cierta relación inversa entre la presentación deficiente de los proyectos y su calidad científica, probablemente, debido a que el principal limitante en la preparación de un proyecto es el esfuerzo que le dedican los investigadores.6

Al igual que ha sido propuesto en otras agencias de evaluación, el 100 % de los expertos acordó incorporar comentarios cualitativos al informe final de aquellos ítems que fueron puntuados en forma desfavorable, lo que servirá de base para justificar la calificación otorgada.14 Además, se acordó que estos comentarios serían enviados, a posteriori, a los investigadores como información sobre los resultados de la evaluación con el fin de mejorar el proyecto.

La evaluación de la factibilidad de un proyecto exige evaluar la capacidad del equipo investigador y las posibilidades de realización del protocolo. Guallar y col., sostienen que la mejor garantía de que un proyecto va a completarse adecuadamente es la demostración, por parte de los investigadores, de haber completado proyectos similares con anterioridad.6 Al respecto, los expertos consensuaron incluir en la evaluación los antecedentes del becario y del director de beca, si bien se acordó que, por ser becas destinadas a pediatras en formación, el puntaje de los antecedentes del becario representaría el 5 % del puntaje total.

Este trabajo aporta una herramienta para facilitar la tarea de los evaluadores, homogeneizando los criterios de evaluación. No pretende ser un elemento rígido de análisis, sino un trabajo que facilite la labor evaluadora, respetando, en todo momento, la opinión individual de los expertos en una determinada área de conocimiento. Asimismo, pretende que quienes investigan conozcan los criterios con los que sus proyectos serán evaluados, lo que contribuye a impulsar una mejora en su calidad.

Una de las debilidades del presente trabajo es que los expertos elegidos pertenecen a la misma sociedad científica y, por lo tanto, este instrumento debería ser validado para su uso en otras instituciones. Sin embargo, la fortaleza radica en que está pensado para ser utilizado dentro de la Sociedad con las características propias de los proyectos que se presentan en cada convocatoria.

Por último, es importante indicar que este instrumento es dinámico y su contenido deberá ser revisado cuando se considere oportuno según la evolución de las prácticas en investigación, publicación y difusión de los avances científicos. En una segunda etapa, se analizará la confiabilidad, la utilidad y el grado de aceptación del instrumento.

CONCLUSIONES

Se validó la forma y el contenido, mediante consenso de expertos, del instrumento de evaluación de proyectos de investigación que concursan a becas de investigación en la Sociedad Argentina de Pediatría y se lograron criterios objetivos de evaluación.

REFERENCIAS

1. Sociedad Argentina de Pediatría. Reglamento de Becas. [Consulta: 4 de enero de 2019]. Disponible en: www.sap. org.ar/docs/profesionales/becaspremios/REGLAMENTO_BECAS_2015.pdf.

2. Albornoz M. Evaluación en ciencia y tecnología. Revista Perspectivas Metodológicas. 2003; 3(3):585.         [ Links ]

3. Alvez de Lima A, Barredo C, Baratta S, Castillo Costa Y, et al. Validity, reliability, feasibility and satisfaction of the Mini-Clinical Evaluation Exercise (Mini-CEX) for cardiology residency training. Medi Teach. 2007; 29(8):785-90.         [ Links ]

4. Bordage G, Brailovsky C, Carretier H, Page G. Content validation of key features on a national examination of clinical decision-making skills. Acad Med. 1995; 70(4):276-81.         [ Links ]

5. Chan AW, Tetzlaff JM, Altman G, Laupacis A, et al. Declaración SPIRIT 2013: definición de los elementos estándares del protocolo de un ensayo clínico. Rev Panam Salud Pública. 2015; 38(6):506-14.         [ Links ]

6. Guallar E, Conde J, De la Cal MA, Martín-Moreno JM. Guía para la evaluación de proyectos de investigación en ciencia de la salud. Med Clin (Barc). 1997; 108:460-71.         [ Links ]

7. Rodríguez Puyol D, Arribas Gómez I, Corbí López A, Lamas S, et al. Evaluación de proyectos de investigación en ciencias de la salud. El punto de vista de la Agencia Nacional de Evaluación y Prospectiva. Madrid: Ministerio de Ciencia, Innovación y Universidades; 2010. [Consulta: 4 de enero de 2019]. Disponible en: http://www.idi.mineco.gob.es/stfls/MICINN/Investigacion/FICHEROS/Cvn_Anep/criterios_de_evaluacion_en_cc_de_la_salud.pdf.

8. Rodríguez del Águila M, Pérez Vicente S, Sordo del Castillo L, Fernández Sierra M. Cómo elaborar un protocolo de investigación en salud.Med Clin (Barc). 2007; 129(8):299-302.         [ Links ]

9. Bobenrieth-Astete MA. Lectura crítica de artículos originales en salud. Med Fam Andal. 2001; 2:81-90.         [ Links ]

10. Muñiz J, Fonseca-Pedrero E. Construcción de instrumentos de medida para la evaluación universitaria. Revista de Investigación en Educación. 2008; 5:13-25.         [ Links ]

11. Crozier F, Teixeira P, Van de Velde P, Zarina I. Evaluación por parte de la agencia ENQA: Agencia de calidad y prospectiva universitaria de Aragón (ACPUA). Aragón: ENQA; 2016. [Consulta: 4 de enero de 2019]. Disponible en: http://www.aragon.es/estaticos/GobiernoAragon/ACPUA/Documentos/Areas_Intern/Ev_ENQA_ACPUA.pdf.

12. Subcomisión de Investigación. Guía para elaborar un proyecto de investigación. Arch Argent Pediatr. 2011; 109(4):371-6.         [ Links ]

13. Linstone HA, Turoff M (eds.). The Delphi Method, Techniques and Applications. Boston: Addison-Wesley Educational Publishers Inc; 1975.         [ Links ]

14. Fund For Scientific Research. Evaluation Guide Rules of procedures for ex-ante evaluation, selection and granting. 2017. [Consulta: 25 de enero de 2019]. Disponible en http://www.fnrs.be/docs/Reglement-et-documents/FRS-FNRS_Guide_Evaluation_EN.pdf.

Creative Commons License Todo el contenido de esta revista, excepto dónde está identificado, está bajo una Licencia Creative Commons