SciELO - Scientific Electronic Library Online

 
vol.117 issue4Instrument to assess research projects that apply for a fellowship by the Argentine Society of Pediatrics: Validation using the Delphi methodReference percentiles for mid-upper arm circumference, upper arm muscle and fat areas in the Argentine child and adolescent population (4-14 years old) author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

  • Have no cited articlesCited by SciELO

Related links

  • Have no similar articlesSimilars in SciELO

Share


Archivos argentinos de pediatría

Print version ISSN 0325-0075On-line version ISSN 1668-3501

Arch. argent. pediatr. vol.117 no.4 Buenos Aires Aug. 2019

http://dx.doi.org/10.5546/aap.2019.e340 

ARTÍCULO ORIGINAL

http://dx.doi.org/10.5546/aap.2019.e340

Validez y confiabilidad de la escala de Tal modificada en niños chilenos. Estudio multicéntrico

 

Klga. Soledad Luarte-Martínez,a,d Klgo. Iván Rodríguez-Núñez,b,d y Enfermera Universitaria, Magíster en Salud MSc. Paula Astudilloc

a. Departamento de Kinesiología, Facultad de Medicina, Universidad de Concepción, Concepción.
b. Escuela de Kinesiología, Facultad de Ciencias de la Salud, Universidad San Sebastián, Concepción.
c. Departamento de Cirugía, Traumatología y Anestesiología, Universidad de La Frontera.
d. Grupo de Investigación en Salud Cardiovascular y Respiratoria (IDEAS-CVR), Concepción. Chile.

Correspondencia: Klga. Soledad Luarte-Martínez: soledadluarte@udec.cl

Financiamiento: Vicerrectoría de Investigación y Desarrollo (VRID) de la Universidad de Concepción debido a la adjudicación del Proyecto VRID N.° 215.082.050IN.

Conflicto de intereses: Ninguno que declarar.

Recibido: 25-7-2018
Aceptado: 21-1-2019

 


RESUMEN

Introducción: En pediatría, evaluar la gravedad de la obstrucción bronquial es determinante; por esto, se han creado escalas de puntuación clínica, como la escala de Tal modificada.
El objetivo fue determinar su validez y confiabilidad en niños atendidos en unidades de emergencia de Concepción, Chile.
Población y métodos: Estudio de cohorte prospectivo. Se incluyeron niños < 36 meses con diagnóstico de bronquitis y/o bronquiolitis durante meses de invierno y primavera de 2015. La validez de criterio concurrente se determinó mediante la correlación entre el puntaje de la escala y la saturación de oxígeno, como estándar de referencia. La validez predictiva se evaluó mediante la asociación entre el puntaje de la escala y la probabilidad de nueva atención en la Unidad de Emergencia dentro de 7 días. Se calculó el área bajo la curva mediante curva ROC. La confiabilidad entre kinesiólogos y médicos se determinó mediante el coeficiente de correlación intraclase (CCI). Un valor de p < 0,05 se consideró estadísticamente significativo.
Resultados: Se evaluaron 102 niños; se observó correlación débil entre la puntuación de la escala y la saturación de oxígeno en kinesiólogos (Rho= -0,41). Existió asociación entre la puntuación y la probabilidad de nueva atención en centros de emergencia. El área bajo la curva medida por ambos profesionales fue > 0,80. La confiabilidad interobservador entre médicos y kinesiólogos presentó correlación débil (CCI= 0,17).
Conclusiones: La escala de Tal modificada presenta una adecuada validez predictiva, pero pobre validez al correlacionarla con la saturación de oxígeno y una débil confiabilidad interobservador.

Palabras clave: Validez; Confiabilidad; Escalas; Obstrucción bronquial.


 

INTRODUCCIÓN

La medición en salud cumple un rol fundamental en la toma de decisiones clínicas.1 Por eso, se han diseñado escalas de medición que permiten facilitar el proceso.2 La calidad de los instrumentos debe ser evaluada a través de sus propiedades psicométricas, considerando entre estas su validez y confiabilidad.3 Esto permitirá un adecuado proceso de toma de decisiones clínicas, optimizar recursos sanitarios y lograr un impacto significativo en la eficiencia de la atención en salud.3

Las enfermedades respiratorias imponen una inmensa carga sanitaria a nivel mundial.4 Desde el punto de vista epidemiológico, una de las enfermedades de mayor incidencia y con la más alta demanda a los servicios de atención primaria en la época invernal son las infecciones respiratorias agudas (IRA).5 En Chile, los cuadros bronquiales obstructivos son las IRA de mayor frecuencia; entre ellas, se incluye la bronquiolitis y la bronquitis aguda.4 Ambas patologías son frecuentes y demandan una alta inversión sanitaria.6,7

La bronquiolitis es el trastorno respiratorio más común en los niños menores de dos años.8 Es conocida como el primer cuadro agudo de sibilancias que afecta a un niño previamente sano.7-9 Por su parte, la bronquitis obstructiva aguda se caracteriza por obstrucción bronquial aguda con sibilancias y, en ocasiones, con crépitos y roncus que afectan, preferentemente, a los menores de 3 años.7 Para determinar la gravedad de la obstrucción bronquial en estas patologías, se han desarrollado

diversas escalas de puntuación clínica.10-13 En Chile, la escala recomendada por el Ministerio de Salud es la escala de Tal modificada, la cual proviene del instrumento desarrollado originalmente por Bierman y Pierson14 en la década de los setenta. Posteriormente, en la versión desarrollada por Tal et al.,15 fue reemplazada la relación inspiración-espiración por cianosis y se denominó escala de Tal y, en la versión modificada por Girardi et al.,16 a finales de los noventa, fue categorizado el ítem frecuencia respiratoria en dos grupos etarios, menores y mayores de 6 meses, y se conoció, así, como escala de Tal modificada.

La estructura metodológica del instrumento considera 4 ítems: frecuencia respiratoria, retracciones, uso de musculatura accesoria y sibilancias. A pesar de la existencia de antecedentes en cuanto a la validación de esta escala, solo se han establecido evaluaciones parciales de sus propiedades psicométricas.111718 Por esto, es necesario complementar sus evaluaciones en la población chilena actual.

El objetivo de esta investigación fue determinar la validez y la confiabilidad de la escala de Tal modificada en los niños con obstrucción bronquial aguda que consultaron en servicios de urgencia de la ciudad de Concepción, Chile.

POBLACIÓN Y MÉTODOS

Estudio de cohorte prospectivo. Mediante muestreo no probabilístico de casos consecutivos, fueron seleccionados pacientes que habían consultado en la Unidad de Emergencia del Centro de Salud Víctor Manuel Fernández, centro de atención primaria ubicado en la ciudad de Concepción. Además, se seleccionaron pacientes que habían consultado en la Unidad de Emergencia del Hospital Guillermo Grant de la misma ciudad. El estudio fue realizado entre los meses de agosto y noviembre de 2015. Cabe mencionar que ambos centros se encontraban dentro del perímetro urbano de la ciudad, por lo que prestaban sus servicios solo a la población que habitaba dicha zona.

Como criterio de inclusión fueron considerados los niños menores de 36 meses con diagnóstico de bronquitis, definida como cuadro respiratorio que presentaba obstrucción bronquial y/o bronquiolitis aguda, es decir, el primer episodio de obstrucción bronquial. Se excluyeron los niños con patología pulmonar crónica (enfermedades pulmonares de larga data, como asma o fibrosis quística), los niños con enfermedad cardiovascular (como cardiopatías) o con patología neuromuscular preexistente.

Para el cálculo del tamaño muestral, fue considerado un coeficiente de correlación de 0,4, un riesgo de error alfa del 5 % y un riesgo de error beta del 20 %. Así, la cantidad mínima de individuos fue de 46 niños. No obstante, para aumentar la potencia estadística de los resultados por encima del 99 %, se incluyó un mayor número de pacientes.

Consideraciones éticas: El estudio fue aprobado por el Comité Ético Científico del Servicio de Salud de Concepción (Código CEC: 15-07-40) en agosto de 2015; además, los padres de los niños firmaron un consentimiento informado.

Variables: Fueron registradas características generales de cada niño (sexo, edad, peso, estatura, escolaridad materna, lugar de residencia, tipo de vivienda, si asistía a un centro educativo) y el porcentaje de saturación de oxígeno (SatO2) mediante un oxímetro de pulso (Prince-100L).

La gravedad de la obstrucción bronquial fue determinada mediante el cálculo del puntaje obtenido tras aplicar la escala sumando sus cuatro ítems.

Procedimientos: Una vez ingresados los niños, se midió la SatO2. Esta variable fue considerada el estándar de referencia con la cual se relacionó el puntaje del instrumento, lo que determinó la validez de criterio concurrente.

Luego, la escala fue aplicada en dos ocasiones, por un médico y un kinesiólogo, por cada uno de los centros, de forma independiente, sin conocer un evaluador la puntuación del otro, con intervalo de tiempo inferior a 5 minutos entre cada medición para, así, determinar la confiabilidad interobservador. Los profesionales participantes tenían, al menos, dos años de experiencia clínica y no tenían vinculación al estudio.

Posteriormente, los niños fueron seguidos mediante llamadas telefónicas para conocer la necesidad de una nueva atención en Emergencia durante los 7 días posteriores, para evaluar la validez predictiva de la escala, es decir, la capacidad del instrumento de predecir un determinado resultado.

Análisis estadístico: En el software MedCalc Statistical versión 16.2.0, se evaluó la distribución de normalidad mediante la prueba de Kolmogórov-Smirnov, en la que fue verificada la ausencia de distribución normal en la mayoría de las variables. Posteriormente, se realizó una estadística descriptiva mediante el cálculo de mediana, máximo y mínimo.

Se utilizó el test de Wilcoxon para verificar las diferencias de las variables de la escala entre la primera y la segunda evaluación.

La validez de criterio concurrente fue evaluada mediante el cálculo del coeficiente de correlación de Spearman (Rho) entre el puntaje de la escala y la SatO2, enfoque metodológico utilizado en otras investigaciones destinadas a explorar la validez de estos instrumentos.11,12,17,18 Dado que médicos y kinesiólogos evaluaron a los niños seleccionados, se consideraron las puntuaciones obtenidas por ambas disciplinas. Se usó un punto de corte común para la evaluación de correlación: > 0,90 (excelente), 0,75-0,90 (bueno), 0,60-0,75 (moderado) y < 0,60 (bajo).19

La validez predictiva se evaluó mediante el análisis de regresión logística y el cálculo de odds ratio (OR). En el modelo de regresión, el valor del puntaje de la escala se consideró como variable independiente y la probabilidad de una nueva atención en Emergencia en 7 días próximos, como variable dependiente. Además, se construyó una curva Receiver Operating Characteristic (ROC) para discriminar la capacidad de la escala para determinar la probabilidad de nueva atención. El área bajo la curva (area under the curve; AUC, por sus siglas en inglés) se expresó en valor absoluto y el 95 % de intervalo de confianza (IC 95 %); a su vez, se reportó el valor de la escala que mostró el mejor valor de sensibilidad y especificidad (índice de Youden [J]). El valor del AUC calculado a partir de la aplicación por kinesiólogos y médicos fue comparado mediante el test no paramétrico de DeLong.20

La confiabilidad interobservador entre el puntaje de la escala obtenido por médicos y kinesiólogos se determinó mediante el cálculo del coeficiente de correlación intraclase (CCI). Adicionalmente, se calcularon la discordancia media y los límites de discordancia entre los profesionales, mediante el método de Bland-Altman.21

Los índices de validez y confiabilidad se expresaron en valor absoluto e IC 95 %. Un valor de p < 0,05 fue considerado significativo.

RESULTADOS

Al estudio ingresaron 102 niños. En la Tabla 1,se muestran las características biodemográficas.

Tabla 1. Características generales de la muestra de estudio

En relación con la gravedad de la obstrucción bronquial, no existió diferencia estadísticamente significativa en los puntajes de los ítems entre los evaluadores, así como en el puntaje total de la escala (Tabla 2).

Tabla 2. Resultado por ítem y puntaje total de la escala de Tal modificada aplicada por kinesiólogos y médicos

Validez de criterio concurrente: Considerando la totalidad de las mediciones, se observó débil correlación entre la escala y la SatO2. No obstante, cuando la escala fue aplicada por kinesiólogos, se notó mayor correlación con el estándar de referencia, comparado a los médicos (Tabla 3). Adicionalmente, hubo débil correlación entre los ítems de la escala y la SatO2, que fue solo estadísticamente significativa en retracciones y frecuencia respiratoria (Tabla 4).

Tabla 3. Validez de criterio concurrente y validez predictiva de la escala de Tal modificada

Tabla 4. Coeficiente de correlación entre saturación periférica de oxígeno y puntaje por ítems de la escala de Tal modificada

Validez predictiva: Se logró el seguimiento del total de los niños; de estos, 4 (el 3,9 %) reportaron requerir nueva atención dentro de los 7 días posteriores; se observó menor SatO2 (el 94,5 % [93-99] versus el 97,0 % [93-99]; p= 0,0215) y un puntaje de la escala más alto medido por kinesiólogos (5,0 [3-7] versus 2,0 [0-9]; p= 0,0261) y médicos (5,5 [3-7] versus 2,0 [0-7]; p= 0,012), comparado a los que no requirieron nueva atención. El análisis de regresión logística reveló la existencia de una asociación entre la puntuación de la escala y el riesgo de requerir nueva atención en ambos profesionales (Tabla 3).

El AUC de la escala para la predicción de una nueva consulta fue > 0,80 en ambos profesionales (Figura 1). No existió una diferencia significativa entre los profesionales (Tabla 3). Considerando todas las mediciones, un puntaje de la escala de Tal modificada > 3 mostró un nivel de sensibilidad de 0,75 (0,35-0,97) y de especificidad de 0,70 (0,63-0,77). Por último, el puntaje de la escala obtenido por los kinesiólogos presentó un índice J > 2, y el puntaje obtenido por el médico presentó un índice J > 5.


Figura 1. Curva ROC para la escala de Tal modificada como predictora de una nueva atención en la Unidad de Emergencia

Confiabilidad interobservador: El CCI del puntaje total calculado por ambos evaluadores fue de 0,17 (IC 95 %: 0,03-0,35).

Finalmente, en la Figura 2, con el diagrama de Bland-Altman, se observa que la diferencia media del puntaje de la escala entre evaluaciones fue de 0,2 puntos, con límites de discordancia de 5,1 y -4,7.


Figura 2. Confiabilidad interobservador de la medición de la escala de Tal modificada

DISCUSIÓN

Considerando que la prevalencia y la gravedad de las IRA han cambiado en nuestra población en los últimos 20 años,5 evaluar la validez y la confiabilidad de la escala de Tal modificada, instrumento ampliamente utilizado en Chile y en el mundo, es una necesidad actual.11,13,15

En cuanto a la validez de criterio concurrente, los resultados indicaron que existía una correlación débil entre el puntaje y la SatO2, lo cual reveló que la escala había determinado en un bajo porcentaje la gravedad de la obstrucción bronquial en la muestra estudiada. Esto concordó con estudios previos, como el de McCallum et al.,11 quienes observaron una baja capacidad diagnóstica del instrumento (AUC mediante ROC: 0,6), considerando la saturación como criterio de referencia.

Vale la pena mencionar que la evidencia que apoya la aplicabilidad clínica de la SatO2 como estándar de referencia que determine la gravedad de la obstrucción bronquial ha mostrado ciertas inconsistencias, por lo tanto, es probable que la utilización de un criterio de referencia que evalúe directamente este parámetro permita establecer la validez de estos instrumentos con mayor certeza.11,12

Además, Pavón et al.17 observaron que el ítem cianosis de la escala de Tal modificada mostraba una débil correlación con la saturación. Esto coincidió con las observaciones realizadas en el presente estudio, en el que cianosis no mostró correlación con el estándar de referencia.

De acuerdo con lo observado, existieron diferencias en la validez concurrente entre los profesionales. Específicamente, en el kinesiólogo, hubo una correlación débil entre la puntuación y la saturación, mientras que, en el médico, no se observó correlación entre ambas variables. Esta diferencia podría explicarse por el perfil de entrenamiento clínico de los profesionales involucrados en el tratamiento de los niños con cuadros bronquiales obstructivos. En Chile, el profesional kinesiólogo, durante el proceso de formación, recibe mayor capacitación específica en áreas de salud respiratoria infantil, a diferencia del médico general.

En cuanto a la validez predictiva, los resultados mostraron una asociación entre el puntaje de la escala y la probabilidad de una nueva atención en Emergencia en los 7 días posteriores, lo que sugirió que la escala podría tener la capacidad de predecir la probabilidad de futuras complicaciones respiratorias, independientemente del profesional que la aplicara. El AUC fue mayor de 0,80 en ambos profesionales. Por tanto, existió alta probabilidad de encontrar un puntaje más alto entre los niños con complicaciones dentro de 7 días. Este resultado concordó con los obtenidos por Duarte-Dorado et al.,22 que mostraron que el mayor puntaje de gravedad de una escala de obstrucción bronquial similar a la escala de Tal modificada, que incluía los ítems saturación, sibilancias, retracciones y conexión con el medio, se había asociado a una mayor necesidad de hospitalización.

Vale la pena mencionar que el índice J es el punto en la curva ROC más alejado de la línea diagonal.23 En relación con los puntos de corte obtenidos en el presente estudio, hay mayor probabilidad de consulta en los próximos 7 días, lo que puede sugerir la implementación de tratamiento temprano y monitorización adecuada. Estas observaciones confirman lo expresado en las guías chilenas de tratamiento de infecciones respiratorias, que establecen que un puntaje > 5 es el punto de corte para realizar un procedimiento breve llamado hospitalización abreviada, que consiste en administrar aerosolterapia más fisioterapia respiratoria en la atención ambulatoria del centro.7

La confiabilidad de la escala ha sido previamente evaluada en un estudio chileno realizado por Urzúa et al.,24 que analizó la confiabilidad entre estudiantes de Medicina y médicos residentes de la especialidad Pediatría y concluyó pobre concordancia entre los observadores. Estos resultados fueron confirmados en nuestro estudio, al constatar un 83 % de error de medición entre los evaluadores (CCI= 0,17), posiblemente, debido a las diferencias propias del proceso formativo en el área de la neumología pediátrica entre kinesiólogos y médicos.

Vale la pena señalar que ciertos estudios consideran entrenamiento especial de los evaluadores al aplicar escalas en sus protocolos experimentales. Dichos protocolos informan niveles más altos de confiabilidad que los observados en el presente estudio. McCallum et al.10 determinaron una alta confiabilidad interobservador (k: 0,70 -IC 95 %: 0,63, 0,83-) realizada por diferentes profesionales previamente capacitados.

Entre las limitaciones del estudio, se destaca que la mayoría de la muestra presentó puntaje entre 0 y 5 puntos, equivalente a obstrucción bronquial leve. Esto podría haber afectado la posibilidad de correlación entre las variables estudiadas. Del mismo modo, no se logró conocer la magnitud de correlación entre las variables en su nivel más alto de gravedad. Además, pocos niños presentaron complicaciones dentro de los 7 días, lo que limitó el poder estadístico de la validez predictiva. Así, se deben realizar estudios futuros para confirmar dichos resultados.

Además, cabe mencionar que la mayoría de los niños evaluados pertenecían al perímetro urbano de la ciudad, lo que podría haber afectado la validez externa de nuestros resultados, teniendo en cuenta que la ciudad de Concepción tenía una distribución demográfica tanto urbana como rural.25

Finalmente, es posible concluir que la escala de Tal modificada aplicada en los menores de 3 años que padecen bronquitis o bronquiolitis aguda presenta una adecuada validez predictiva; sin embargo, tiene una pobre validez de criterio al correlacionarla con la SatO2 y una débil confiabilidad interobservador. Cabe destacar la necesidad de futuros estudios dirigidos a verificar el potencial impacto sobre las propiedades de medición de un programa de capacitación sobre la aplicación de este instrumento en la población de interés.

REFERENCIAS

1. Clancy C, Eisenberg J. Outcomes research: measuring the end results of health care. Science. 1998;282(5387):245-6.         [ Links ]

2. Kerlinger F, Lee H. Investigación del comportamiento. Métodos de investigación en ciencias sociales. 4.ta ed. México: McGraw-Hill; 2002.         [ Links ]

3. Alarcón MA, Muñoz NS. Medición en Salud: Algunas consideraciones metodológicas. Rev. Med Chile. 2008;136(l):125-30.         [ Links ]

4. Foro de las Sociedades Respiratorias Internacionales. El impacto mundial de la Enfermedad Respiratoria. 2.da ed. México: Asociación Latinoamericana de Tórax; 2017. [Consulta: 2 de diciembre de 2018]. Disponible en: http://www.who.int/gard/publications/The_Global_Impact_of_Respiratory_Disease_ES.pdf.

5. Organización Mundial de la Salud. Medidas de control de infecciones en la atención sanitaria de pacientes con enfermedades respiratorias agudas en entornos comunitarios. 2009. [Consulta: 2 de diciembre de 2018]. Disponible en: http://www.who.int/csr/resources/publications/WHO_HSE_GAR_BDP_2009_1/es/.

6. Chile. Departamento de Estadística e Información de Salud, Ministerio de Salud. 2014. [Consulta: 2 de diciembre de 2018]. Disponible en: http://www.deis.cl.

7. Chile. Ministerio de Salud. Guía Clínica Auge: Infección Respiratoria Baja de Manejo ambulatorio en menores de 5 años. 2.da ed. 2013. [Consulta: 2 de diciembre de 2018]. Disponible en: https://www.minsal.cl/portal/url/item/7220fdc4341244a9e04001011f0113b9.pdf.

8. Ralston S, Lieberthal, Meissner H, Alverson B, et al. Clinical practice guideline: the diagnosis, management, and prevention of bronchiolitis. Pediatrics. 2014;134(5):e1475-502.         [ Links ]

9. Jartti T, Smits HH, Bonnelykke K, Bircan O, et al. Bronchiolitis needs a revisit: Distinguishing between virus entities and their treatments. Allergy. 2018:1-13. [Epub ahead of print].

10. Ramos Fernández J, Cordón Martínez A, Galindo Zavala R, Urda Cardona A. Validación de una escala clínica de severidad de la bronquiolitis aguda. An Pediatr (Barc). 2014;81(1):3-8.         [ Links ]

11. McCallum G, Morris P, Wilson C, Versteegh L, et al. Severity scoring systems: Are they internally valid, reliable and predictive of oxygen use in children with acute bronchiolitis? Pediatr Pulmonol. 2013;48(8):797-803.         [ Links ]

12. Bekhof J, Reimink R, Brand PL. Systematic review: Insufficient validation of clinical scores for the assessment of acute dyspnoea in wheezing children. Paediatr Respir Rev. 2014;15:(1):98-112.         [ Links ]

13. Destino L, Weisgerber M, Soung P, Bakalarski D, et al. Validity of Respiratory Scores in Bronchiolitis. Hosp Pediatr. 2012;2(4):202-9.         [ Links ]

14. Bierman W, Pierson W. The Pharmacologic Management of Status Asthmaticus in Children. Pedriatrics. 1974:54(2);245-7.         [ Links ]

15. Tal A, Bavilski C, Yohai D, Bearman J, et al. Dexamethasone and Salbutamol in the Treatment of Acute Wheezing in Infants. Pediatrics. 1983;71(1):13-8.         [ Links ]

16. Girardi G, Astudillo P, Zúñiga F. El programa IRA en Chile: hitos e historia. Rev Chil Pediatr. 2001;72(4)292-300.         [ Links ]

17. Pavón D, CastroDRodríguez J, Rubilar L, Girardi G. Relation between pulse oximetry and clinical score in children with acute wheezing less than 24 months of age. Pediatr Pulmonol. 1999;27(6):423-7.         [ Links ]

18. Puebla Molina S, Bustos L, Valenzuela M, Hidalgo M, et al. La escala de Tal como test diagnóstico y el diagnóstico clínico como gold standard en el síndrome bronquial obstructivo del lactante. Rev Pediatr Aten Primaria. 2008;10(37):45-53.         [ Links ]

19. Portney L, Watkins M. Foundations of clinical research: applications to practice. 3rd ed. Upper Saddle River, NJ: Pearson/Prentice Hall; 2009.         [ Links ]

20. DeLong E, DeLong D, Clarke-Pearson D. Comparing the areas under two or more correlated receiver operating characteristic curves: a nonparametric approach. Biometrics. 1988:44(3):837-45.         [ Links ]

21. Bland JM, Altman DG. Statistical methods for assessing agreement between two methods of clinical measurement. Lancet.1986;8(8476):307-10.         [ Links ]

22. Duarte-Dorado D, Madero-Orostegui D, Rodriguez-Martinez C, Nino G. Validation of a scale to assess the severity of bronchiolitis in a population of hospitalized infants. J Asthma. 2013;50(10):1056-61.         [ Links ]

23. Fluss R, Faraggi D, Reiser B. Estimation of the Youden Index and its Associated Cutoff Point. Biom J. 2005;47(4):458-72.         [ Links ]

24. Urzúa BS, Duffau TG, Zepeda FG, Sagredo JS. Estudio de concordancia clínica en educandos de pre y pos título en Pediatría: Puntaje de Tal. Rev Chil Pediatr. 2002;73(5):471-7.         [ Links ]

25. Chile. Instituto Nacional de Estadísticas. Censos de Población y Vivienda 2002. [Consulta: 24 de enero de 2019]. Disponible en: http://www.ine.cl/estadisticas/censos/censos-de-poblacion-y-vivienda.

Creative Commons License All the contents of this journal, except where otherwise noted, is licensed under a Creative Commons Attribution License