PROTOCOLO DE ORGANIZACIÓN DE ENSAYOS DE APTITUD PEEC Microbiologí a de Alimentos PEEC Quí mica Ambiental y de Alimentos
INTRODUCCION
El siguiente protocolo tiene como objetivo el presentar a los laboratorios interesados en participar en los ensayos de aptitud PEEC, el sistema de organización de las rondas de ensayos de intercomparación y la evaluación estadística con la cual se realizan las rondas de ensayos de aptitud. EL Programa de Evaluación externa de la Calidad (PEEC), es un programa de ensayos de aptitud (1) dirigido a los Laboratorios de Ensayo del área química y microbiológica ambiental y de alimentos, siendo invitados a participar en estos tanto para laboratorios públicos como privados. Este programa se inició en el año 1996, con tres evaluaciones correspondientes a: yodo en sal, nitritos en vienesas y toxina paralizante en moluscos. Desde esa fecha ha continuado y aumentando en forma gradual su oferta de rondas de evaluaciones, diversificando analitos, matrices. En este programa de Rondas de Ensayos de Aptitud, participan Laboratorios nacionales públicos, laboratorios nacionales privados y laboratorios extranjeros. Los laboratorios de ensayos públicos y privados que participan en esta área se distribuyen a lo largo de nuestro país, permitiendo tener a través de los informes de evaluación de estas rondas, una radiografía general de la situación país, en las diversas áreas de ensayo involucradas. Los informes de cada ronda PEEC son muchas veces requeridos por los organismos públicos (SAG, SERNAPESCA, SEREMI de Salud, etc.) y acreditadores para evaluar el desempeño de los laboratorios de ensayo.
Página 1 de 10
ASEGURAMIENTO DE CALIDAD La Sección Metrología Ambiental y de Alimentos cuenta con un Sistema de Calidad para los ensayos de aptitud, basado en las Normas ISO/IEC 43:1997 (Norma Chilena 2445:1999). Contando en el proceso de implementación con la asesoría técnica dos organismos internacionalmente reconocidos: LGC standards del Reino Unido en el área de microbiología y Swedish National Food Administration (NFA) en el área química, organismo dependiente del Ministerio de Agricultura, Alimentación y Pesca de Suecia. En el año 2009, se firma la política de calidad de los ensayos de aptitud del Departamento de Salud Ambiental, incorporándose dentro del sistema de calidad de calidad Departamental. El programa cuenta con un comité de consultores externos constituido por: Paulina Chavez. Ministerio de salud. Cinthya Lewellyn. SERNAPESCA Manuel Lladser- División de Metrología INN. Marisol aguilera- Coordinador PEEC MA. Soraya Sandoval- Coordinador PEEC QAA. Luis Rodríguez- Depto. de Referencia Laboratorio Biomédico. Instituto de Salud Pública. Marcelo Soto Varas. Depto. de Salud Ambiental. In stituto de Salud Pública. Este comité sesiona 2 veces al año, con el fin de colaborar en la elaboración del programa anual PEEC, establecer nuevas áreas de de sarrollo y resolver inquietudes de los laboratorios participantes.
ORGANIZACIÓN DEL PEEC QAA y MA Las rondas de ensayo de aptitud PEEC QAA y MA, corresponden a ensayos de intercomparación con una frecuencia anual para cada subprograma. Estos subprogramas pueden ser de tipo:
Cuantitativos:
En el cual el objetivo es cuantificar uno o más mensurandos del ítem de ensayo de aptitud. Dentro de este tipo se encuentran las rondas del PEEC MA de Enumeración de microorganismos, y del PEEC QAA : Caracterización de ResPel del PEEC QAA, Determinación de Biotoxinas Marinas, Determinación de aniones en aguas y macronutrientes en alimentos.
Cualitativos:
En el que el objetivo es identificar o describir una o más características del ítem de ensayo de aptitud. Dentro de este tipo se encuentran las rondas de Detección de microorganismos patógenos del PEEC MA
Los ítems de ensayo de aptitud se distribuyen simultáneas en un período de tiempo definido, para su análisis y se establece un plazo de respuesta de alrededor de 20 días hábiles desde la fecha de recepción del ensayo.
Página 2 de 10
El programa se organiza de acuerdo a las siguientes etapas:
ETAPA 1: Programa Anual • Desarrollo de propuesta programa anual por parte de los Coordinadores PEEC y
Jefatura de Sección. • Revisión Grupo asesor de expertos del programa anual. • Aprobación del programa anual PEEC QAA y MA. • Publicación en la página Web del programa Anual PEEC QAA y MA .
ETAPA 2: Invitación Se envía carta vía correo electrónico a los diferentes laboratorios y posibles clientes, donde se les invita a participar en los ensayos interlaboratorios realizados por el PEEC del ISP, señalándose el cronograma anual de los ensayos de aptitud y la descripción de cada uno de estos.
ETAPA 3: Inscripción • Unidad de Comercialización del instituto, recepcionan las solicitudes y pagos de los
interesados hasta la fecha plazo estipulada. • La Sección Metrología Ambiental y de Alimentos recibe a través de la Unidad de Comercialización, las fichas de adscripción aceptadas. • A cada participante se le asigna un número único para el (Código interno del Laboratorio :CIL), prueba de ensayo y el tratamiento de los resultados, con el fin de preservar la confiabilidad y confidencialidad de su participación durante el desarrollo y resultados del Interlaboratorios. Este código es enviado por correo certificado al Director Técnico del Laboratorio en el mes de marzo, antes del inicio de las rondas, junto con el programa anual al cual este se ha adscrito.
ETAPA 4: Envío • Los materiales de ensayo se envían a los laboratorios participantes en la fecha de
comienzo establecida en el programa. • Los materiales se envían por correo en condiciones de embalaje, almacenamiento e identificación de acuerdo a los requerimientos de IATA y las instrucciones de la Unidad de Despacho y gestión de Cámaras Frías del Instituto.
• Con el material de ensayo el Laboratorio recibe una carta donde se indica la fecha
de cierre para informar los resultados del ensayo. Y en soporte digital (CD) el protocolo con las instrucciones sobre: condiciones de almacenamiento, manipulación del material de ensayo, medidas de seguridad, acuso recibo, instrucciones sobre reclamos, sugerencias y la planilla de informe de datos y resultados. El laboratorio debe informar con la hoja acuso recibo, la correcta recepción de las muestras y las observaciones que estime necesarias.
Página 3 de 10
ETAPA 5: Análisis de Resultados • Los participantes analizan los materiales de ensayo que informan de los resultados y
métodos a través correo electrónico o correo corriente. • El Coordinador del PEEC realiza la compilación de los datos y resultados de cada
participante. • Se determina el número de participante o adscritos que dieron respuesta dentro del
plazo establecido para iniciar la evaluación estadística de los resultados.
ETAPA 6: Análisis de Resultados Los resultados obtenidos por los diferentes laboratorios se evalúan y comparan, a través de un análisis estadístico de los resultados. A cada laboratorio se adjudica una puntuación (en base a un indicador estadístico) que proporciona una evaluación de su rendimiento. •
Se desarrolla informe preliminar de la evaluación de la prueba de aptitud en el cual se indica: descripción del ensayo interlaboratorio, descripción del material de ensayo, responsables de la evaluación de los datos, cronograma de actividades del interlaboratorio evaluado, instrucciones a los participantes, análisis estadístico de los datos recibidos en base al código confidencial, lista de participantes y métodos utilizados, comentarios y referencias. •
ETAPA 7: Informe de Resultados Se envía el informe preliminar a los participantes. Entregando un plazo para sus alcances y observaciones en relación a errores de transcripción u omisiones involuntarias. •
En el informe se indican los nombres de los laboratorios participantes, y los resultados son reportados con el CIL, a fin de guardar la confidencialidad de los datos. •
Se informa a los clientes vía correo electrónico de la publicación del informe PEEC en la Web. •
ETAPA 8: Evaluación • Se realiza en el primer trimestre del año una encuesta dirigida a los clientes con el fin
de evaluar la calidad del servicio, las necesidades que pueden existir y sugerencias, tras la experiencia de la participación en el PEEC.
Página 4 de 10
EVALUACION ESTADISTICA Respecto a los procedimientos de evaluación estadística de los datos realizada en el área química y microbiología, estos se basan en: •
ISO 13528:2005 (E). Statistical methods for use in profiency testing by interlaboratory comparisons.
•
The International Harmonized Protocol for Profiency Testing of Analytical Chemistry Laboratories (2006). Pure Appl. Chem. Vol78, pp 145-196.
•
AMC technical brief (2006). Representing data distribution with kernel density estimates.
•
ISO Guide 43-1. 1997. Development and operation of laboratory Profiency testing.
•
NCh 2445/1 y2 (1999). Ensayos de aptitud mediante comparaciones interlaboratorio. INN
•
“Robust Statistics: a Method of Coping with Outliers”. Royal Society of Chemistry, Analytical Methods Committee, Nº 6, A
•
“Protocol for Desing, Conduct and Interpretation of Method-Performance Studies”. Pure & Appl.Chem, Vol. 67, Nº 2, pp331-343, 1995
z-score: El análisis estadístico z-score es utilizado para las rondas de ensayo de aptitud cuantitativo del PEEC MA y QAA. El z-score es un puntaje de desempeño el cual compara las diferencias entre los resultados de los participantes y el valor asignado en términos de la dispersión aceptable de los resultados o la desviación estándar establecida.
Z = X - xa
σ pt Donde: xa = resultado de los participantes X = valor asignado σpt = Desviación estándar establecida para el ensayo de aptitud.
Se pueden presentar diferencias al comparar cálculos de z-score realizados por los participantes con los obtenidos con la planilla de cálculo Excel debido a efectos de redondeo. Los informes PEEC reportan los resultados z-score con 2 decimales. Se asumirá por tanto una distribución normal, para cualquier grupo de datos con distribución normal los Z-Score deberán estar entre el rango de ± 2.00 a ± 3.00 .
Página 5 de 10
Los criterios de aceptabilidad, están definidos por el valor obtenido por cada laboratorio, que son clasificados de la siguiente manera: [Ζ Ζ ] ≤2.00: es decir, entre -2,00 y +2,00, el resultado del laboratorio es satisfactorio.
2.00<[ Ζ Ζ ] <3.00 : es decir, entre -2,10 y < -3,00 y; entre +2,10 y < +3,00 el resultado del laboratorio es cuestionable. [Ζ Ζ ] >3.00: el resultado del laboratorio no satisfactorio, es decir, insatisfactorio.
Puntaje de desempeño combinado: Cabe señalar que para los fines del ensayo de aptitud es la evaluación Z-score individual la correspondiente al laboratorio, la que debe ser considerada como el resultado del análisis estadístico del presente interlaboratorios. En el PEEC QAA, sólo con fines didácticos se realiza una evaluación global de desempeño del conjunto de los analitos, se asigna un puntaje a cada valor Z-score obtenido para cada analito y se calcula el promedio obtenido por el laboratorio. Esta evaluación solamente entrega una visión general del desempeño del laboratorio en el ámbito de los componentes analizados.
Valor Z-Score
Puntaje
Z ≤ [1]
7
[1] < Z ≤ [2]
5
[2] < Z < [3]
3
Z > [3]
1
Respecto al puntaje promedio la evaluación en cuanto a calificación es la siguiente: 7: 6-5: 4-3: 1-2:
Altamente satisfactoria o muy satisfactoria Satisfactoria Cuestionable Insatisfactoria
a) Evaluación PEEC Microbiología de Alimentos (PEEC- MA): En el PEEC Microbiología de Alimentos (PEEC- MAA) se aplica la estadística robusta ya que no hay necesidad de rechazar datos inconsistentes y disminuye el aporte de los datos inconsistentes al calcular los parámetros estadísticos. El método utilizado para determinar el valor asignado puede variar dependiendo del programa en particular y del material de prueba. Cuando el valor asignado es determinado a partir del valor de consenso de los resultados de los participantes, métodos estadísticos robustos son utilizados para el valor de consenso y la desviación estándar robusta. Para los ensayos cualitativos los resultados son comparados con los resultados esperados basados en la formulación.
Página 6 de 10
En los programas de microbiología, para resultados cuantitativos, el valor asignado es un valor de consenso determinado con la media robusta (mediana) de consenso de todas los resultados. Posteriormente se calcula un z-score para cada participante. No se calculará el z-score cuando se hayan recibido menos de 5 resultados. Cuando se haya recibido menos de 8 resultados, se entregará el z-score solo a modo de información y debe ser interpretado con cautela. Determinación del Valor Asignado: Es un valor de consenso y corresponde a la mediana de los resultados informados por los laboratorios participantes. En ciertas rondas en las cuales se utilice material de referencia adquirido el valor asignado puede se determinado a partir de los valores de los certificados entregados por el proveedor de material de referencia. Cálculo de Desviación Estándar Estimada/Robusta o Mediana de todas las Desviaciones Absolutas (MAD): Corresponde a la mediana del valor absoluto de todas las desviaciones de cada resultado de ensayo respecto a la mediana.
MAD = mediana (| xi – mediana |) Donde: xi es el resultado de ensayo de cada participante. Para que la MAD resulte equivalente a la desviación estándar de una distribución normal, se multiplica por 1,483. Al valor resultante se le denomina MADe. Para establecer un valor fijo de desviación estándar para el ensayo de aptitud se ha considerado los criterios y experiencia de asesores expertos en el tema además de los valores históricos registrados. El valor del σ pt para todos los ensayos es de 0,30 a no ser que se indique lo contrario.
a) Evaluación PEEC Química Ambiental y de Alimentos (PEEC- QAA): Para fines estadísticos no se considerarán en la evaluación datos informados como “menor que” o bajo el limite de detección reportado por el laboratorio, es decir, ejemplo: <0,01 mg/L o < 5 mg/Kg. Se realizará el análisis de datos inconsistentes en base al método Test de Grubbs solo si se cuenta con una cantidad suficiente de datos, es decir superior a 6 (n > 6), a fin de establecer los valores anómalos. Una vez establecido los datos anómalos, se procede a realizar el análisis estadístico basado en el Z-Score, sin ser excluidos los valores anómalos. El establecimiento del valor asignado ( µ) podrá ser establecido de una de las siguientes maneras:
• • •
Obtenido del Certificado del Material de Referencia. Test de Certificación de Material de Referencia Interno. Test de Kernel, para la obtención de valor de consenso, aplicando un 0,75% de la desviación estándar establecida para el ensayo.
Página 7 de 10
El establecimiento de la desviación estándar del ensayo de aptitud , se realiza a través del modelo estadístico de Hortwiz: en base a la ecuación de Hortwiz se determina el Coeficiente de variación (σ) para el valor asignado del analito expresada en fracción de masa (c).
σ = 0,02 c 0.8495 SDh = σ x 100 µ
INFORME Se realiza un informe final del ensayo de aptitud 20 días hábiles después del plazo de respuesta establecido. En este informe se entregan los resultados de los laboratorios participantes a través del Código Interno del Laboratorio. El informe describe el listado de participantes, objetivo de la ronda, el material (ítem) de ensayo, la evaluación estadística realizada, el valor asignado y la desviación de ensayo de aptitud, los resultados z-score y la distribución Z-Score de los participantes representadas gráficamente al igual que la evaluación de desempeño global. Los gráficos solo señalan el código (confidencial) asignado al laboratorio participante asignado a su laboratorio, el que fue notificado junto al envío de la muestra de ensayo.
Este informe es publicado en el centro de documentación de la página Web del Instituto de Salud Pública de Chile : www.ispch.cl
TERMINOLOGÍA •
Comparación interlaboratorios: Organización, ejecución y evaluación de ensayos sobre los mismos o similares ítems de ensayo por 2 o más laboratorios de acuerdo con condiciones predeterminadas.
•
Desviación Estándar Robusta o Mediana del valor absoluto de todas las desviaciones (MAD): Corresponde a la mediana del valor absoluto de todas las desviaciones de cada resultado de ensayo respecto a la mediana.
•
Desviación estándar: Estimador de la dispersión de los valores de una población alrededor de este valor medio.
•
Ecuación de Horwitz: Modelo estadístico de la precisión de un método analítico o ensayo intra o interlaboratorios, se utiliza como modelo general de reproducibilidad de los métodos analíticos utilizados por los laboratorios, expresada en desviación estándar.
•
Ensayo de Aptitud (EA): Es una evaluación independiente y no sesgada del rendimiento de todos los aspectos del laboratorio, tanto humanos como materiales, a través de la cual se puede determinación el desempeño de un laboratorio de ensayo mediante comparación interlaboratorios.
•
Ensayo de intercomparación: Tipo de ensayo de aptitud que realiza con una distribución simultanea de laboratorios participantes, se selecciona un material con un valor asignado o certificado contra el cual es comparado el resultado obtenido por el o los participantes. Sirve para indicar el desempeño individual o grupal de los laboratorios.
Página 8 de 10
•
Ensayo interlaboratorios: Comprende submuestras seleccionadas al azar de una fuente de material que se distribuyen simultáneamente a los laboratorios de ensayo participantes en el ensayo. Ejemplos de ítems de ensayo usados en este tipo de ensayo de aptitud incluyen alimentos, fluidos corporales, agua, suelos y otros materiales ambientales.
•
Ensayo: Operación técnica que consiste en la determinación de una o más características de un determinado producto, proceso o servicio de acuerdo a un procedimiento especificado.
•
Ítem de ensayo: Material o artefacto presentado al laboratorio participante para propósitos del ensayo de aptitud.
•
Laboratorio de ensayo: Laboratorio que efectúa ensayos.
•
Materia de Referencia Certificado (MRC): Es el material de referencia acompañado de un certificado, en el cual uno o más valores de sus propiedades están certificados por un procedimiento que establece su trazabilidad con una realización exacta de la unidad en la que se expresan los valores de la propiedad, y para la cual, cada valor certificado se acompaña de una incertidumbre, con la indicación de un nivel de confianza.
•
Material de referencia (MR): Material o sustancia en la cual uno o más valores de sus propiedades son suficientemente homogéneos y están bien definidos para permitir utilizarlos para la calibración de un instrumento, la evaluación de un método de medición, evaluación de desempeño, o la asignación de valores a los materiales.
•
Mediana: Valor de la variable que deja el mismo número de datos antes y después que él.
•
PEEC: Programa de Evaluación Externa de Calidad del Instituto de Salud Pública de Chile.
•
Resultado de ensayo: El valor de una característica obtenido al realizar completamente un método de medición especificado.
•
Técnicas estadísticas robustas: Técnicas para minimizar la influencia que pueden tener los resultados extremos sobre los estimadores del promedio y de la desviación estándar.
•
Test de Grubbs: Contraste de datos anómalos que comprar la desviación del valor sospechoso y la media muestral con la desviación estándar de la muestra, este contraste supone una distribución de población n ormal.
•
Valor anómalo: Miembro de un conjunto de datos que es inconsistente con los otros miembros de dicho conjunto.
•
Valor asignado: Valor que se asigna al material o ítem de ensayo utilizado en la ronda de intercomparación a fin de comparar los resultados de los participante con un valor cercano al “valor verdadero”.
•
Z-Score: Estima el error que existe entre el resultado informado y el valor asignado del material de ensayo, y la desviación estándar establecida por el organizador del ensayo de aptitud.
Página 9 de 10
Redactores: MV. Marisol Aguilera lagos QF. Soraya Sandoval 12.11.10
Página 10 de 10
