SciELO - Scientific Electronic Library Online

 
vol.80 issue4Prognostic value of brain natriuretic peptide and troponin I in moderate and high risk pulmonary embolismWhich should be the goals of apolipoprotein A1?: Analysis of a healthy population in Argentina author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Article

Indicators

  • Have no cited articlesCited by SciELO

Related links

  • On index processCited by Google
  • Have no similar articlesSimilars in SciELO
  • On index processSimilars in Google

Bookmark


Revista argentina de cardiología

On-line version ISSN 1850-3748

Rev. argent. cardiol. vol.80 no.4 Ciudad Autónoma de Buenos Aires Jul./Aug. 2012

 

EDUCACIÓN MÉDICA

Evaluación del puntaje SYNTAX por residentes de cardiología clínica

Evaluation of the SYNTAX score by residents in clinical cardiology

 

Pablo M. Lamelas, Gerardo NauMTSAC, Juan P. Costabel, Jorge ThiererMTSAC, Jorge BelardiMTSAC, Alberto Alves De LimaMTSAC

Recibido: 23/11/2011
Aceptado: 21/03/2012

Dirección para separatas:

Pablo M. Lamelas Blanco Encalada 1543 (1428) CABA Tel. 54 11 4787-7500 e-mail: pablolamelas@hotmail.com


 

RESUMEN

Introducción
El puntaje SYNTAX (PS) se presenta como una herramienta útil para la selección de pacientes con enfermedad del tronco y/o de tres vasos pasibles de revascularización mediante angioplastia. Existe una moderada reproducibilidad interobservador entre miembros del estudio original. No se dispone de evidencia suficiente sobre la evaluación del PS por miembros ajenos a un laboratorio de cardiología intervencionista.

Objetivos
Evaluar si residentes de cardiología pueden realizar una valoración adecuada del PS y detectar posibles sesgos en ella.

Material y métodos
Se seleccionaron en forma retrospectiva cinecoronariografías que evidenciaban enfermedad del tronco y/o de tres vasos. Un residente de cardiología (RC) calculó el PS total para compararlo con lo calculado por un cardiólogo intervencionista (CI). Se analizaron los datos mediante el coeficiente kappa (deciles y terciles), el coeficiente de concordancia de Lin y gráficamente a través del método de Bland-Altman.

Resultados
Se analizaron 93 cinecoronariografías. Las medias del PS del CI y del RC resultaron de 28,58 (DE 10,0) y de 30,44 (DE 10,7), respectivamente. La diferencia de las medias fue de 1,85 (DE 7,01). El coeficiente kappa resultó de 0,57 (0,464-0,678) para deciles y de 0,60 para terciles (0,48-0,72). El coeficiente de Lin fue de 0,75 (0,65 a 0,83). El análisis de Bland-Altman detecta una tendencia del RC a infraestimar puntajes altos del CI.

Conclusiones
El presente trabajo demuestra una moderada a buena reproducibilidad interobservador entre un RC y un CI. Este nivel de acuerdo es tolerable para su cálculo según lo publicado. Se detectó una tendencia del RC a infraestimar PS altos.

Palabras clave: Angioplastia; Revascularización miocárdica ; Enfermedad coronaria ; Angiografía

Abreviaturas

ATC Angioplastia transluminal coronaria DE Desviación estándar
CI Cardiólogo intervencionista PS Puntaje SYNTAX
CRM Cirugía de revascularización miocárdica RC Residente de cardiología

ABSTRACT

Evaluation of the SYNTAX score by residents in clinical cardiology

Background
The SYNTAX score (SS) is a useful tool for selecting patients with left main or three-vessel coronary artery disease eligible for percutaneous coronary interventions. The score has moderate inter-observer reproducibility among members of the original study. There is not sufficient evidence about the evaluation of the SS by non-interventional cardiologists.

Objectives
To evaluate whether residents in cardiology can perform an adequate evaluation of the SS and to detect possible biases in this evaluation.

Methods
Coronary angiographies with evidence of main left coronary artery disease and/or three-vessel disease were retrospectively selected. A resident in cardiology (RC) calculated the total SS in order to compare it with the score calculated by an interventional cardiologist (IC). Data were analyzed using the kappa coefficient (deciles and tertiles), Lin's concordance correlation coefficient and Bland-Altman plot method.

Results
Ninety three coronary angiographies were analyzed. Mean SS calculated by the IC and the RC were 28.58 (SD 10.0) and 30.44 (SD 10.7), respectively. Mean difference was 1.85 (SD 7.01). The kappa coefficient was 0.57 (0.464-0.678) for deciles and 0.60 for tertiles (0.48-0.72). Lin's coefficient was 0.75 (0.65 to 0.83). The Bland-Altman analysis detected that the RC had a trend towards underestimating high scores calculated by the IC.

Conclusions
This study demonstrates a moderate to good inter-observer reproducibility between a RC and an IC. This level of agreement is tolerable to calculate the score, as previously published. A trend to underestimate high SS was detected in the RC.

Key words: Angioplasty; Myocardial Revascularization ; Coronary Artery Disease ; Angiography


 

INTRODUCCIÓN

En la actualidad es motivo de debate la estrategia de revascularización de pacientes con enfermedad coronaria de múltiples vasos, tradicionalmente tratados con cirugía de revascularización miocárdica (CRM). (1) Con el advenimiento y desarrollo de la angioplastia transluminal coronaria (ATC) en múltiples vasos existe evidencia de que es un método factible y de resultados comparables a los de la CRM. (2-4)
El estudio SYNTAX, mediante la evaluación de la complejidad coronaria angiográfica, utilizando un puntaje especialmente diseñado, concluye que
la ATC no es inferior a la CRM en cierto grupo de pacientes. (5) Por lo tanto, el puntaje (score) SYNTAX (PS) se presenta como una herramienta útil para seleccionar según la complejidad coronaria a los pacientes con enfermedad del tronco y/o de tres vasos pasibles de revascularización mediante ATC.
Se ha demostrado una reproducibilidad interobservador moderada entre miembros del laboratorio central del estudio original. (6) La valoración del PS por miembros ajenos a un laboratorio de cardiología intervencionista no fue evaluada de manera suficiente, lo que podría plantear dudas respecto de la utilización del PS por cardiólogos en general. Si un cardiólogo en formación es capaz de realizar una valoración adecuada del PS, ello sugiere la posibilidad de utilizarlo en su práctica habitual con el fin de orientar inicialmente la estrategia de revascularización de su paciente.
El objetivo del presente trabajo es evaluar si residentes de cardiología clínica pueden realizar una valoración adecuada del PS y detectar posibles sesgos en ella.

MATERIAL Y MÉTODOS

Selección de coronariografías

Se recolectaron de manera retrospectiva y consecutiva cinecoronariografías diagnósticas de pacientes con enfermedad del tronco y/o de tres vasos sin revascularización previa realizadas dos años atrás (durante el año 2009) en el Instituto Cardiovascular de Buenos Aires.

Observadores

Un residente de cardiología clínica (RC) voluntario de segundo año de la institución realizó, con el fin de capacitarse previo al cálculo del PS, el entrenamiento y autoevaluación de manera satisfactoria disponible en el sitio www.syntaxscore. com. (7) Posteriormente calculó el PS total de las angiografías incluidas utilizando el algoritmo del PS automatizado disponible en el mismo sitio en Internet. Estos resultados fueron comparados luego con lo calculado por un cardiólogo intervencionista (CI) de la institución. Los observadores eran ciegos tanto a la identidad del paciente como a la terapia realizada posteriormente. Ambos calcularon el PS total de manera independiente a partir de planillas ordenadas diferentemente. Tampoco formaron parte del análisis estadístico.

Cálculo de la muestra y estadísticos

Estimamos que 90 angiografías poseen suficiente potencia para demostrar reproducibilidad interobservador (8) con un error tanto alfa como beta menor del 1% para detectar un coeficiente de correlación de 0,5 o mayor entre ambos observadores.
La evaluación del grado de acuerdo interobservador se analizó mediante el coeficiente kappa de Cohen, organizado tanto en deciles como en terciles, este último considerando los estratos pronósticos del PS, ajustado para variables continuas ordinales. En la Tabla 1 se detalla la interpretación cualitativa por encima del nivel de chance del índice kappa. El análisis de acuerdo cuantitativo se efectuó con el coeficiente de correlación de concordancia de Lin. Se analizaron los resultados gráficamente con la técnica de Bland-Altman clásica
y según método de referencia en búsqueda de posibles sesgos.

Tabla 1. Interpretación cualitativa del índice kappa*

Las variables continuas se expresan como media y desviación estándar (DE). Se utilizaron los softwares SPSS 18.0.0 para Windows (SPSS Inc, Chicago, Ill, USA) y MedCalc 11.4.1.0 para Windows (MedCalc Software, Mariakerke, Bélgica).

RESULTADOS

Se analizaron 93 cinecoronariografías en total. En las tablas de contingencia se detallan los resultados agrupados en deciles y terciles (Tablas 2 y 3). La media de PS del CI fue de 28,58 puntos (DE 10,0) y la del RC fue de 30,44 puntos (DE 10,7). La precisión de los observadores entre sí se evaluó mediante la diferencia de medias que resultó de 1,85 puntos y la exactitud mediante su DE, de 7,01 puntos.

Tabla 2. Tabla de contingencia agrupada en deciles

Tabla 3. Tabla de contingencia agrupada en terciles

El coeficiente kappa resultó de 0,57 para deciles (IC 95% 0,46-0,67) y de 0,60 para terciles (IC 95% 0,48-0,72). El coeficiente de concordancia de Lin fue de 0,75 (IC 95% 0,65-0,83) compuesto por un coeficiente r de Pearson de 0,77 y un factor corrector de sesgo C-b de 0,98.
El análisis visual de Bland-Altman (Figura 1) presenta una dispersión que predomina dentro del IC 95% y no insinúa la presencia de errores sistemáticos. Puede verse la presencia de 6 observaciones por fuera del IC del 95% (6,45%) y 10 aciertos exactos (10,7%). Al tomar el PS del CI como valor de referencia (Figura 2), se aprecia una tendencia del RC a infraestimar puntajes altos del CI, en general superiores a 35 puntos.

Fig. 1. Gráfico de Bland-Altman clásico.


Fig. 2. Gráfico de Bland-Altman modificado según método de referencia.

DISCUSIÓN

Mediante el presente trabajo se logró demostrar una reproducibilidad interobservador moderada a buena entre un RC y un CI. Este nivel de acuerdo se considera aceptable según lo publicado entre miembros de un laboratorio de cardiología intervencionista. Sin embargo, detectamos cierta dificultad del RC al estimar anatomías de alta complejidad.
Debido a que cierto subgrupo de pacientes con enfermedad coronaria extensa es pasible de tratamiento mediante ATC, es necesario el uso de métodos para detectarlos. La complejidad de la anatomía coronaria apreciada mediante el PS demostró que los pacientes con puntajes inferiores o igual a 32 puntos tenían resultados similares a los de la CRM a un año de seguimiento en términos de eventos cardiovasculares mayores. Se ha validado su potencia pronóstica en múltiples ensayos clínicos, (9-13) así como en combinación con variables clínicas (puntaje SYNTAX clínico) (14, 15) y reserva fraccional de flujo. (16) Por lo tanto, el PS pasa a formar parte de la decisión de estrategia de revascularización de pacientes con enfermedad de múltiples vasos, (17) de la cual cardiólogos clínicos forman parte.
Debido a que el PS es un puntaje exclusivamente angiográfico y no se dispone de evidencia sobre su cálculo fuera de un laboratorio de cardiología intervencionista, la interpretación por médicos cardiólogos en general puede generar conflicto. Creemos que si cardiólogos en formación como un RC logra calcularlo de manera comparable a la de CI entre sí es una manera de demostrar su factibilidad de cálculo en ámbitos no específicos.
La bibliografía disponible sobre la reproducibilidad del PS se encuentra enfocada en miembros de un laboratorio de cardiología intervencionista. Posteriormente a la publicación del estudio SYNTAX, el grupo oficial presentó en EuroIntervention su evaluación de variabilidad interobservador e intraobservador. En este caso, el PS fue valorado por dos técnicos de cardiología intervencionista y se obtuvo un grado de acuerdo moderado. Luego, el grupo SYNTAX publicó un trabajo en el que se evaluó el grado de variabilidad intraobservador, en este caso con un grupo de CI, el cual también resultó de acuerdo moderado. (18) Más recientemente se ha publicado una serie de artículos, igualmente con cardiólogos intervencionistas y técnicos, los cuales también estiman una moderada a buena reproducibilidad interobservador. (19-21) Por lo tanto, gran parte de la bibliografía disponible concluye, sobre todo la presentada por el grupo SYNTAX, que un grado moderado de acuerdo interobservador se considera por lo menos aceptable.
Se sabe que la evaluación visual de lesiones mediante angiografías está sujeta a cierto grado de variabilidad entre observadores, (22-24) que se corrige en parte mediante el uso de métodos cuantitativos. (25) Del mismo modo podemos afirmar en este caso un grado de acuerdo moderado a bueno del PS analizado visualmente entre observadores con el coeficiente kappa (entre 0,4 y 0,8, incluyendo sus IC del 95%), tanto de manera general como para diferenciar sus diferentes estratos pronósticos. El análisis cuantitativo con el coeficiente de concordancia de Lin coincide con el resto de los resultados. La media del PS fue similar a la del
estudio de validación oficial, lo que demuestra que las características de la población eran similares en lo que respecta a grado de complejidad coronaria.
Partiendo del principio de que un CI posee mejor precisión y exactitud de estimación visual de angiografías coronarias, es posible realizar un análisis de Bland-Altman enfrentando el método"patrón oro" (en este caso el CI) con la diferencia entre observadores. (26) De esta manera se detectó una tendencia del RC a infraestimar valores de PS superiores a 35 según el CI. Una posible explicación para dicho fenómeno es la falta de entrenamiento del RC para evaluar lesiones múltiples o muy complejas propias de pacientes con PS alto. Cuantas más lesiones se analicen se agregan aspectos de cada lesión que entran en evaluación incrementando el PS total, como el grado de calcificación, tortuosidad, longitud, compromiso de otros ramos y cronicidad de lesiones totales. Es posible que un RC no esté capacitado lo suficiente para detectar estas características de manera correcta y así infraestima los PS altos. Por lo tanto, tomando en cuenta esta observación, es posible que valores cerca del punto de corte mayor del PS por parte del RC pertenezcan al estrato de PS alto.
Es de destacar que fue necesario el entrenamiento previo del RC mediante los recursos disponibles en el sitio oficial en Internet. Consideramos esto un paso importante para poder aplicar estas conclusiones e incluso recomendable como entrenamiento del RC para la evaluación de cinecoronariografías en general.

Limitaciones

Si bien el coeficiente kappa es una herramienta frecuentemente utilizada para evaluar variabilidad interobservador en diferentes ámbitos, se reconoce que posee limitaciones. Este coeficiente estima el acuerdo por sobre el nivel de chance y valores superiores a 0,8 se consideran como de excelente reproducibilidad interobservador. El encontrar moderado a buen acuerdo entre observadores (kappa 0,4 a 0,8), si bien se considera tolerable, puede no ser aceptado a la hora de definir pacientes a una conducta u otra. Igualmente, como también sucede con otros modelos pronósticos, el PS se propone como una herramienta complementaria y no determinante.
Aplicar conclusiones sobre la observación de un CI y un RC de un centro en particular al resto de las instituciones puede no ser apropiado. El hecho de encontrar acuerdo interobservador puede estar favorecido por la disponibilidad de un homogéneo y sofisticado sistema de adquisición y visualización de imágenes, incrementando así la precisión de ambos observadores. Otro aspecto a destacar puede ser el grado previo de entrenamiento de visualización de cinecoronariografías al que son expuestos los RC de centros intervencionistas de alto volumen.
El hecho de ser observadores de un mismo centro puede generar sesgos. A fin de reducirlo se utilizaron sólo
estudios diagnósticos evaluados en forma independiente, realizados dos años atrás, sin identificación del paciente y planillas de análisis ordenadas diferentemente.
El haber analizado sólo el puntaje total y no los diferentes componentes del PS limita el análisis sobre los puntos de mayor acuerdo o desacuerdo por cinecoronariografía.

CONCLUSIONES

El presente trabajo demuestra una moderada a buena reproducibilidad del PS total entre un CI y un RC. Este nivel de acuerdo interobservador es similar al publicado por el grupo SYNTAX y considerado como aceptable. Mediante el análisis visual se detectó cierta dificultad del RC en estimar las anatomías más complejas.

BIBLIOGRAFÍA

1. Yusuf S, Zucker D, Peduzzi P, Fisher LD, Takaro T, Kennedy JW, et al. Effect of coronary artery bypass graft surgery on survival: overview of 10-year results from randomised trials by the Coronary Artery Bypass Graft Surgery Trialists Collaboration. Lancet 1994;344:563-70.         [ Links ]

2. Rodriguez A, Bernardi V, Navia J, Baldi J, Grinfeld L, Martinez J, et al. Argentine Randomized Study: Coronary Angioplasty with Stenting versus Coronary Bypass Surgery in patients with Multiple- Vessel Disease (ERACI II): 30-day and one-year follow-up results. ERACI II Investigators. J Am Coll Cardiol 2001;37:51-8.         [ Links ]

3. SoS Investigators. Coronary artery bypass surgery versus percutaneous coronary intervention with stent implantation in patients with multivessel coronary artery disease (the Stent or Surgery trial): a randomised controlled trial. Lancet 2002;360:965-70.         [ Links ]

4. Serruys PW, Unger F, Sousa JE, Jatene A, Bonnier HJ, Schönberger JP, et al; Arterial Revascularization Therapies Study Group. Comparison of coronary-artery bypass surgery and stenting for the treatment of multivessel disease. N Engl J Med 2001;344:1117-24.         [ Links ]

5. Serruys PW, Morice MC, Kappetein AP, Colombo A, Holmes DR, Mack MJ, et al. Percutaneous coronary intervention versus coronary artery bypass grafting for severe coronary artery disease. N Engl J Med 2009;360:961-72.         [ Links ]

6. Serruys PW, Onuma Y, Garg S, Sarno G, Van den Brand M, Kappetein AP, et al. Assessment of the SYNTAX score in the Syntax study. EuroIntervention 2009;5:50-6.         [ Links ]

7. SYNTAX working-group. SYNTAX score calculator 2.02. Disponible en www.syntaxscore.com. Accedido el primero de noviembre 2011.         [ Links ]

8. Bland JM, Altman DG. Statistical methods for assessing agreement between two methods of clinical measurement. Lancet 1986;1:307-10.         [ Links ]

9. Wykrzykowska JJ, Garg S, Girasis C, de Vries T, Morel MA, van Es GA, et al. Value of the SYNTAX score for risk assessment in the all-comers population of the randomized multicenter LEADERS (Limus Eluted from A Durable versus ERodable Stent coating) trial. J Am Coll Cardiol 2010;56:272-7.         [ Links ]

10. Kim YH, Park DW, Kim WJ, Lee JY, Yun SC, Kang SJ, et al. Validation of SYNTAX (Synergy between PCI with Taxus and Cardiac Surgery) score for prediction of outcomes after unprotected left main coronary revascularization. JACC Cardiovasc Interv 2010;3:612-23.         [ Links ]

11. Garg S, Sarno G, Serruys PW, Rodriguez AE, Bolognese L, Anselmi M, et al. Prediction of 1-Year Clinical Outcomes Using the SYNTAX Score in Patients With Acute ST-Segment Elevation Myocardial Infarction Undergoing Primary Percutaneous Coronary Intervention A Substudy of the STRATEGY (Single High-Dose Bolus Tirofiban and Sirolimus-Eluting Stent Versus Abciximab and Bare- Metal Stent in Acute Myocardial Infarction) and MULTISTRATEGY (Multicenter Evaluation of Single High-Dose Bolus Tirofiban Versus Abciximab With Sirolimus-Eluting Stent or Bare-Metal Stent in Acute Myocardial Infarction Study) Trials. JACC Cardiovasc Interv 2011;4:66-75.         [ Links ]

12. Garg S, Serruys PW, Silber S, Wykrzykowska J, van Geuns RJ, Richardt G, et al. The Prognostic Utility of the SYNTAX Score on 1-Year Outcomes After Revascularization With Zotarolimus- and Everolimus-Eluting Stents A Substudy of the RESOLUTE All Comers Trial. JACC Cardiovasc Interv 2011;4:432-41.         [ Links ]

13. Chakravarty T, Buch MH, Naik H, White AJ, Doctor N, Schapira J, et al. Predictive accuracy of SYNTAX score for predicting longterm outcomes of unprotected left main coronary artery revascularization. Am J Cardiol 2011;107:360-6.         [ Links ]

14. Girasis C, Garg S, Raber L, Sarno G, Morel MA, Garcia-Garcia HM, et al. SYNTAX score and Clinical SYNTAX score as predictors of very long-term clinical outcomes in patients undergoing percutaneous coronary interventions: a substudy of SIRolimus-eluting stent compared with pacliTAXel-eluting stent for coronary revascularization (SIRTAX) trial. Eur Heart J 2011;32:3115-27.         [ Links ]

15. Jou YL, Lu TM, Chen YH, Sung SH, Wang KL, Huang SS, Lin WT, Chan WL, Lin SJ. Comparison of the predictive value of EuroSCORE, SYNTAX score, and clinical SYNTAX score for outcomes of patients undergoing percutaneous coronary intervention for unprotected left main coronary artery disease. Catheter Cardiovasc Interv 2012 Feb 14. doi: 10.1002/ccd.23450.         [ Links ]

16. Nam CW, Mangiacapra F, Entjes R, Chung IS, Sels JW, Tonino PA, et al. Functional SYNTAX score for risk assessment in multivessel coronary artery disease. J Am Coll Cardiol 2011;58:1211-8.         [ Links ]

17. Hamm CW, Bassand JP, Agewall S, Bax J, Boersma E, Bueno H, et al; ESC Guidelines for the management of acute coronary syndromes in patients presenting without persistent ST-segment elevation: The Task Force for the management of acute coronary syndromes (ACS) in patients presenting without persistent STsegment elevation of the European Society of cardiology (ESC). Eur Heart J 2011;32:2999-3054. doi: 10.1093/eurheartj/ehr236.         [ Links ]

18. Garg S, Girasis C, Sarno G, Goedhart D, Morel MA, Garcia- Garcia HM, et al. The SYNTAX score revisited: a reassessment of the SYNTAX score reproducibility. Catheter Cardiovasc Interv 2010;75:946-52.         [ Links ]

19. Shiomi H, Tamura T, Niki S, Tada T, Tazaki J, Toma M, et al. Inter- and intra-observer variability for assessment of the synergy between percutaneous coronary intervention with TAXUS and cardiac surgery (SYNTAX) score and association of the SYNTAX score with clinical outcome in patients undergoing unprotected left main stenting in the real world. Circ J 2011;75:1130-7.         [ Links ]

20. Généreux P, Palmerini T, Caixeta A, Cristea E, Mehran R, Sanchez R, et al. SYNTAX score reproducibility and variability between interventional cardiologists, core laboratory technicians, and quantitative coronary measurements. Circ Cardiovasc Interv 2011;4:553-61.         [ Links ]

21. Ibrahim TH, Mehmet E, Trgay I, Mustafa K, Ahmet K, Serdar S. Reproducibility of syntax score: from core lab to real world. J Interv Cardiol 2011;24:302-6.         [ Links ]

22. Zir LM, Miller SW, Dinsmore RE, Gilbert JP, Harthorne JW. Interobserver variability in coronary angiography. Circulation 1976;53:627-32.         [ Links ]

23. DeRouen TA, Murray JA, Owen W. Variability in the analysis of coronary arteriograms. Circulation 1977;55:324-8.         [ Links ]

24. Beauman GJ, Vogel RA. Accuracy of individual and panel visual interpretations of coronary arteriograms: Implications for clinical decisions. J Am Coll Cardiol 1990;16:108-13.         [ Links ]

25. Herrman JP, Azar A, Umans VA, Boersma E, von Es GA, Serruys PW. Inter- and intra-observer variability in the qualitative categorization of coronary angiograms. Int J Card Imaging 1996;12:21-30.         [ Links ]

26. Krouwer JS. Why Bland-Altman plots should use X, not (Y+X)/2 when X is a reference method. Stat Med 2008;27:778-80.         [ Links ]