PROGRAMA DE EVALUACIÓN EXTERNA DE CALIDAD

Evaluación de métodos por la Evaluación Externa de Calidad en Química Clínica*

Eduardo Perasso¹, Daniel Mazziotta²

1. Bioquímico.
2. Licenciado en Ciencias Bioquímicas.

*Programa de Evaluación Externa de Calidad.
Fundación Bioquímica Argentina.
Calle 60 Nº 537. 1900 - La Plata.
Tel. 54-221-4231150
Buenos Aires. Argentina.
Correo electrónico: peec@fbpba.org.ar

Introducción

   La Evaluación Externa de Calidad (EEC) tiene múltiples funciones que son fundamentales para la garantía de calidad analítica. Entre ellas, la que permite evaluar los métodos analíticos en uso es esencial ⁽¹⁾⁽²⁾. La evaluación de los métodos analíticos por este medio es distinta de la que el fabricante o quien desarrolla el método hace antes de que el mismo esté disponible para el uso diario. Efectivamente, esta última incluye los estudios de linealidad, especificidad, sensibilidad, interferencias, precisión, etc. En cambio la EEC, como estudio de campo, permite evaluar las distintas combinaciones que ocurren en la implementación de los distintos métodos en cada uno de los laboratorios.
   Para este fin se implementan distintos tipos de variables estadísticas y sistemas de puntajes para que los Laboratorios conozcan su desempeño puntual e histórico.
   Tal es el caso de las variables utilizadas en el Programa de Evaluación Externa de Calidad (PEEC) que son el Desvío Relativo Porcentual (DRP) y el sistema de Puntaje F cuyos significados y cálculos son explicados más adelante.

Objetivos

   Evaluar en función del tiempo el desempeño analítico de los laboratorios participantes del Subprograma de Química Clínica del PEEC, seleccionados según grupos metodológicos.

Materiales y Métodos

   Se utilizaron los datos de la encuesta Nº 194 (diciembre 2003) de Química Clínica del PEEC. En ella se evalúan estadísticamente los resultados informados por los participantes, para los 23 analitos que se procesan en el Subprograma de Química Clínica.
   Con el objeto de estudiar y analizar comparativamente las distintas metodologías usadas por los laboratorios para los analitos seleccionados, se realizaron gráficos de frecuencias porcentuales acumuladas de los participantes en función del Puntaje F.

SISTEMA DE PUNTAJE F

   Se basa en la descripción matemática de la distribución del valor de la Desviación Relativa Porcentual (DRP) obtenida por el laboratorio durante seis meses consecutivos.
   El DRP es una medida de cuánto se aleja en términos relativos el valor informado por el laboratorio respecto de la media de consenso, y tiene para cada analito una cota de aceptabilidad que es la Desviación Relativa Porcentual Aceptable (DRPA) cuyo establecimiento se logra teniendo en cuenta parámetros estadísticos y variabilidad biológica.
   La distribución de los 6 resultados de DRP se estudia analizando los siguientes parámetros estadísticos:

   Sesgo: Se estudia el promedio de los 6 DRP del laboratorio y se lo compara con el valor 0, que es el valor deseable cuando no existen errores sistemáticos a largo plazo.
   Rango Intercuartílico: Es una medida no paramétrica de la dispersión de los 6 resultados de DRP durante los 6 meses.
   N: Es el número de veces que el DRP del laboratorio es mayor que el DRP aceptable.

   De este tratamiento se obtuvo la función matemática (Puntaje F) que da un valor entre cero e infinito. Si el puntaje es F = 0, quiere decir que los últimos 6 DRP fueron igual a cero. Si bien existe la posibilidad, prácticamente el valor cero es muy improbable puesto que siempre habrá una variabilidad en los valores de DRP. En cuanto a los valores útiles para nuestro fin, cual es el de evaluar el desempeño histórico (de las últimas seis encuestas), consideramos la siguiente escala:
   0 < F < =1 Excelente
   1 < F < =2 Bueno
   2 < F < =3 Regular
   Resultados mayores a F = 3 califican como un desempeño pobre. En general trabajaremos con el concepto de que los valores de F son aceptables hasta F=2 e idealmente F < 1.
   Para que el Laboratorio tenga un buen desempeño debe tener un Puntaje F menor o igual que 2 para todos los analitos, independientemente de la metodología usada por el mismo.
   Esta comparación metodológica se debe interpretar como trabajo de campo; es independiente del análisis que realiza el Fabricante respecto de cada metodología y, por supuesto, no asemeja ni reemplaza a este último sino que se trata de otro tipo de análisis comparativo.
   Al estudiar este parámetro con los porcentajes acumulados lo que hacemos es verificar qué porcentaje de laboratorios se acumula por debajo de la cota impuesta (Puntaje F menor o igual a 2).
   Es importante remarcar que el valor de Puntaje F indica el desempeño histórico (últimas seis encuestas) y no el de una encuesta en particular.

Resultados

   La encuesta fue realizada cubriendo gran parte de la geografía del pais y fue contestada por 2.147 laboratorios de un total de 2.962 inscriptos.
   A continuación se pueden observar gráficos a modo de ejemplo para solamente algunos de los analitos estudiados.
   En la siguiente tabla se muestran los porcentajes acumulados para el Puntaje F = 2 de los 23 analitos estudiados aquí mostrando además el número de participantes que utiliza cada método de los evaluados en el PEEC.

Discusión

   Para un mismo método analítico, la cantidad de laboratorios que logran un desempeño aceptable -medido por el valor del Puntaje F- reflejan el desempeño del método, particularmente cuando el número de laboratorios involucrados es alto. A mayor pendiente de la curva de frecuencias acumuladas, mayor porcentaje de laboratorios alcanzan un valor de Puntaje F aceptable (F = 2). Si bien es cierto que el método analítico no es la única variable que determina el desempeño de un laboratorio, es significativo que un número importante de ellos no puedan lograr puntajes aceptables cuando usan métodos que tienen limitaciones comprobadas. Por ejemplo, en el caso del método colorimétrico de Reitman y Frankel para la determinación de la actividad de las transaminasas (Tabla I).

   

   Es así como se puede observar en los gráficos que se muestran aquí tomados a manera de ejemplo que, en algunos analitos existe un mejor desempeño, tal es el caso de la Glucosa que en ambos métodos: Trinder color y método UV acumulan un alto porcentaje de Laboratorios antes de alcanzar el límite de aceptabilidad (Fig. 1); otros analitos muestran comportamientos disímiles según el método elegido tal es el caso de la Urea que en los métodos UV cinético y UV punto final tienen mayor cantidad de acumulados antes de los límites cuando se los compara con los métodos colorimétricos Berthelot y Berthelot-modificado (Fig. 2); en el caso de la Creatinina observamos que en general se observa desempeño regular aunque el método Jaffé sin desproteinización cinético se comporta mejor cuando se lo compara con los demás: Jaffé con desproteinización punto final y Jaffé sin desproteinización punto final (Fig. 3).

   

   Para el caso de la enzima Fosfatasa Alcalina (FAL) podemos observar cuánto mejor se comportan los métodos cinéticos cuando se los compara con los de Punto final desde el punto de vista analítico (Fig. 4).

   Observaciones similares se pueden realizar cuando se analizan el resto de los analitos estudiados cuyos gráficos no se muestran aquí, y sólo se toman los antes citados a manera de ejemplo.
   Es de destacar que en los casos de grupos metodológicos que pertenecen a métodos obsoletos -Reitman y Frankel para transaminasas, Amiloclástico para Amilasa etc.,- los desempeños promedio resultan decididamente malos.
   En otros casos, tales como el Sodio, Glucosa, Proteínas, Albúmina, etc. muestras desempeños pobres debido a que los valores de DRP aceptables fueron ajustados recientemente a valores acordes con la tendencia internacional.

Conclusiones

   Del análisis de la Tabla I podemos hacer comparaciones del desempeño metodológico de todos los analitos estudiados teniendo en cuenta que el Puntaje F describe el comportamiento a lo largo de seis meses de cada laboratorio. Esta característica del Puntaje F lo convierte en una muy buena descripción del desempeño a lo largo del tiempo.
   Se puede observar en la misma (Tabla I), para cada analito, cuáles son los métodos con mejor desempeño, teniendo en cuenta que cuanto mayor sea el porcentaje acumulado de laboratorios para el límite de aceptabilidad, mejor comportamiento tendrá el método en el laboratorio.
   Aquí tenemos que considerar el efecto de la matriz de los sueros utilizados para el análisis cuado se compraran los diferentes métodos para la Urea. Si bien, en optimas condiciones analíticas los métodos UV, tanto cinéticos como de punto final, siempre tienen mejor comportamiento que los colorimétricos, debemos considerar la influencia que el efecto de la matriz del suero pudiera tener en las condiciones analíticas evaluadas aquí.
   Además también se tienen que considerar algunos cambios introducidos en el PEEC para las evaluaciones mensuales, ya que a partir de la encuesta 190 se ajustaron a valores más exigentes los DRPA para 7 analitos (Glucosa, Colesterol, Ácido Úrico, Sodio, Cloro, Albúmina y Calcio). Esto puede determinar que los porcentajes acumulados sean menores debido a que el puntaje F se ve estrechamente influenciado por la mayor exigencia analítica que implica un estrechamiento en el límite del DRPA.
   El análisis realizado con esta encuesta en particular nos permite discernir cuáles de los métodos evaluados tienen mejor desempeño analítico para cada uno de los analitos.
   Un caso paradigmático es el del analito CPK que para el método colorimétrico tiene un valor de 0% como porcentaje acumulado, lo que implica que ningún laboratorio tiene un desempeño aceptable con puntaje F < = 2. Observaciones similares pueden realizarse con los demás analitos.
   Este análisis permite ofrecer a los participantes del PEEC información adicional para la toma de decisión en cuanto a la metodología a utilizar en cada caso.

Correspondencia

Dr. Daniel Mazziotta
DirectorPrograma de Evaluación Externa de CalidadFundación Bioquímica Argentina
Calle 60 Nº 537, 1900 La Plata.
Tel.: +54-221-4231150
Fax: +54-221-4232021
Correo electrónico: dmpeec@netverk.com.ar

Referencias bibliográficas

1. Libeer JC, et al. Characterization and classification of External Quality Assessment Schemes (EQA) according to objectives such as evaluation of method and participant bias and standard deviation. Eur J Clin Chem Biochem 1996; 34: 665-78.

2. Fundamentos de la Evaluación Externa de Calidad, Internacional Federation of Clinical Chemistry and Laboratory Medicine. Confederación Latinoamericana de Bioquímica Clínica, La Plata; 1988.