Intra e Interlab
Intra e Interlab
Intra e Interlab
RESUMEN
Las pruebas de aptitud técnica (PA) juegan un papel importante para demostrar la capacidad de medición de los
laboratorios de prueba. La Guía ISO 43 describe diversos tipos de PA, sus lineamientos y algunos estimadores
estadísticos para su evaluación. Por su importancia en la confiabilidad de la evaluación de la competencia técnica, se
destacan las pruebas que emplean valores de referencia. El CENAM ha empleado el estadístico de desempeño error
cuadrático medio relativo (ECMR), que emplea valores de referencia certificados; en este documento se describe su
aplicación y resultado para mejorar el desempeño de los laboratorios analíticos de agua residual.
1. INTRODUCCIÓN
En este trabajo se presenta la aplicación de las
Existen dos tipos de pruebas (ensayos) de pruebas de aptitud técnica, para la evaluación del
comparación: intralaboratorio e interlaboratorio. Las desempeño de laboratorios de análisis de
pruebas intralaboratorio permiten evaluar el parámetros de agua residual, empleando como
desempeño dentro del laboratorio, considerando la ejemplo la medición de cadmio (Cd), debido a su
evaluación del equipo, los métodos y el personal del grado de dificultad en niveles bajos, de acuerdo a
mismo laboratorio; las interlaboratorio son aquellas los métodos de medición de las Normas Mexicanas
que se realizan entre laboratorios, llamadas NMX-AA-051-SCFI-2001 y NMX-AA-060-1981 [3].
típicamente pruebas Round Robin. Estas pruebas Se describe de manera general el protocolo
permiten evaluar el desempeño de los laboratorios utilizado, las mejoras implementadas para la
participantes, utilizando el mismo ó similar material automatización del manejo de datos, así como el
ó dispositivo de medición, de acuerdo a condiciones estimador estadístico empleado por el CENAM para
predeterminadas [1]. la evaluación de dichas pruebas durante catorce
años: el Error Cuadrático Medio Relativo (ECMR). El
Las pruebas interlaboratorio más utilizadas son: ECMR al incluir la evaluación de la reproducibilidad y
a) Pruebas de colaboración, donde los participantes del sesgo con respecto a valores de referencia con
son laboratorios de prueba con competencia técnica trazabilidad al Sistema Internacional de Unidades
demostrada, cuyo objetivo es evaluar el desempeño (SI), proporciona información para evaluar la
de nuevos métodos de medición, validar métodos competencia técnica, con base a las dos principales
y/o certificar materiales de referencia; fuentes de error en un proceso de medición, la
b) Pruebas de aptitud técnica, donde los variabilidad y la exactitud.
laboratorios participan como parte de un proceso de
acreditación, para evaluar su competencia técnica y 2. DESARROLLO DE LAS PRUEBAS DE
mejorar su desempeño analítico. APTITUD TÉCNICA
puramente estadísticos, tampoco utiliza pruebas de independientes, durante tres días, por lo que n es
valores extremos y no depende del número de igual a 15. En este esquema no se considera una
participantes, porque es una comparación directa al variación de largo plazo [13]. Con el fin de evaluar la
valor del material de referencia certificado (MRC). competencia técnica, se estima el error cuadrático
En este trabajo para ejemplificar el uso del medio relativo (ECMR), que es la relación que existe
estimador ECMR se presenta el resultado de una PA entre el ECM y la incertidumbre emitida por el
para Cd en agua; adicionalmente se realizó la CENAM:
comparación de los estadísticos z-score con el
empleado por el CENAM ECMR. ECM ,
ECMR = (6)
U
2.5. El Error Cuadrático Medio Relativo
La medida del error (MSE), es un estimador que donde U es la incertidumbre expandida asociada al
cuantifica la cantidad en que éste difiere del valor valor certificado del material de referencia X, con un
verdadero, y es definido como, factor de cobertura k = 2 para el nivel de confianza
al 95 %, sustituyendo la Ec. (2) en la Ec. (6) se
∧
∧ obtiene la Ec. (7):
MSE ( θ ) = E ( θ − θ ) 2 , (1)
2 2
∧ b s
donde θ es el estimador con respecto al parámetro ECMR = + . (7)
U U
θ . La medida del error puede estimarse en sus
principales contribuciones: sesgo (b) y varianza (s2), La Ec. (7) representa la fórmula de una
donde b y s son estimadores de las dos fuentes circunferencia con radio ECMR en un plano
más importantes de error en un proceso de cartesiano, donde en un par ordenado (b/U, s/U) el
medición, considerando a ambas como variables primer componente está relacionado con el eje x
aleatorias en un período largo de tiempo. El ECM es (abscisa) y el segundo componente se relaciona con
definido como la raíz cuadrada de la suma de el eje y (ordenada). Los valores ECMR obtenidos
cuadrados del sesgo con respecto al valor de para los laboratorios participantes se ordenan en
referencia y la desviación estándar del resultado del forma ascendente. Posteriormente un número
laboratorio participante [12]: entero n se utiliza para agrupar los valores de ECMR
de acuerdo a su valor para cada laboratorio, de la
ECM = b 2 + s 2 , (2) siguiente forma 1 < n, 2 < n, 3 < n, 4 < n, etc. El
valor de n se relaciona con el nivel de competencia
donde el sesgo es definido como la diferencia entre requerido y se establece de acuerdo al propósito de
el valor certificado X y el valor promedio medido por la prueba. Esto puede interpretarse como la
cada laboratorio, competencia de los laboratorios relativa a la
__ competencia del INM [13]. El valor de nc implica
b= X lab −X . (3) ampliar el nivel de confianza alrededor del valor
certificado, para formar una población de los
laboratorios cuyos resultados cumplen con el
La desviación estándar s es definida por la Ec. (4) y desempeño requerido, de acuerdo al propósito
el promedio de los resultados de medición de cada establecido.
laboratorio se estima por la Ec. (5):
Con fines de acreditación, los organismos pueden
2
n
__
definir previamente un valor n como el valor crítico
∑ Xi − X
i =1 , (4) de aceptación y de esta manera no habrá
s=
n−1 ambigüedad en los resultados de evaluación. En la
__
1 n práctica, en el CENAM el valor crítico nc de
X lab = ⋅ ∑ Xi . (5) aceptación es establecido para cada mensurando
n i =1 (analito en una matriz determinada), con la
aprobación previa de los convocantes de la prueba
En el protocolo de la prueba se especifica el número de aptitud técnica y es informado a los participantes
de mediciones n, empleando un diseño a la PA, a través del protocolo. El criterio que el
experimental. Para la medición de cadmio, CENAM ha establecido para proponer a los
normalmente se solicitan cinco mediciones convocantes el valor de n para cada parámetro se
fundamenta en la revisión de los estimadores sesgo De acuerdo a lo descrito en el punto 2.3. Cuando se
y coeficiente de variación en diversos métodos utilizan valores de consenso, para la estimación del
oficiales de medición (donde estuvieron mejor valor, es indispensable realizar pruebas de
disponibles); en el historial disponible en el CENAM valores extremos [9].
sobre los resultados del ECMR de los laboratorios
que han participado exitosamente en las pruebas de 3. RESULTADOS Y DISCUSIÓN
aptitud realizadas desde el año 1998: finalmente,
este valor es sometido al acuerdo de la 3.1. Automatización
Organización Coordinadora (convocantes), previo a Para efecto de mantener la confidencialidad, facilitar
cada ejercicio. el manejo de datos, disminuir la ocurrencia de
errores y tiempo, el CENAM ha desarrollado un
El valor del MRC y su incertidumbre, utilizado para procedimiento semi-automático para asignar un
la prueba de aptitud, es reconocido a través de la código confidencial a cada laboratorio, recolectar los
capacidad de calibración y de medición (CMC) resultados de todos ellos, ya sea por un portal de
declarada ante el Joint Committee of the Regional Internet u otro medio electrónico y elaborar un
Metrology Organizations and the BIPM (JCRB) del informe que contenga toda la información recibida,
Bureau International des Poids et Mesures (BIPM), y agrupada de manera clara y útil para todos los
aquí radica la importancia de su uso para evaluar la involucrados.
competencia de laboratorios que participan.
3.2. Asignación del Valor
2.6. El z-Score En la asignación del valor certificado, para el caso
El estimador z-score es empleado en diversos del parámetro Cd, se utilizaron métodos analíticos
esquemas de PA, donde el resultado de cada de fundamento diferente [8]: preparación
participante x es convertido a un valor de z score, de gravimétrica, espectrofotometría de absorción
acuerdo con la Ec. (8): atómica y espectrometría de emisión atómica con
plasma acoplado inductivamente. El valor certificado
para el Cd en la muestra de agua fue de 1,507 ±
z=
( x − xa ) , (8) 0,029 mg/L, con un factor de cobertura k = 2. En el
σp año 2001, el CENAM declaró la capacidad de
medición (CMC) para Cd en agua, siendo
reconocida e incluida en la base de datos (KCDB)
donde xa es el mejor valor estimado para el del CIPM. Esta base de datos contiene el Apéndice
mensurando (valor verdadero) y σp es el valor de la C del Arreglo de Reconocimiento Mutuo (ARM), y
desviación estándar para la evaluación de la aptitud, está disponible para su consulta en el portal de
seleccionado para el propósito establecido de la Internet http://kcdb.bipm.org/appendixC/default.asp.
prueba. La idea principal del z-score es hacer los Por tanto, los valores certificados para el material de
valores comparables, no importando el valor medido referencia de Cd, son comparables con los valores
ó la identidad del analito, la naturaleza de la de los materiales de referencia que emiten los INM
muestra, el principio fundamental del método de signatarios del ARM.
medición o la organización que provea la prueba.
3.3. Resultados de la PA para Cd
Es importante enfatizar que la interpretación del z- En el caso que nos ocupa, se empleó una muestra
score no se basa en un esquema estadístico que MRC de Cd en agua, donde catorce de los
describa observaciones de resultados de los laboratorios participantes emplearon la técnica de
participantes, sino que utiliza un modelo que está espectrofotometría de absorción atómica con flama
basado en el propósito establecido de la PA y éste (EAAF) y uno (Lab. 15) empleó espectrofotometría
se representa por σp. Prácticamente, su de emisión atómica con plasma acoplado
interpretación se fundamenta en la distribución inductivamente (ICP-AES), ambas con el método de
normal de los resultados de los laboratorios x~N calibración externa para la cuantificación del Cd.
(xverdadero, σp2). Bajo este régimen de modelo y Debido a que un solo participante empleo ICP-AES
asumiendo que el valor asignado es muy cercano al no es posible concluir que el empleo de una técnica
xverdadero, entonces el z-score sigue una distribución determinada sea relevante para los resultados de la
normal [14]. prueba.
En la Tabla 1, se listan los resultados de las resultados tienen un menor sesgo (b) se encuentran
mediciones de Cd realizadas por los laboratorios más cercanos al eje y, por lo que los valores que se
participantes (identificados por No. de Lab.) de encuentren más cercanos al origen (0, 0) obtienen
acuerdo a su ECMR en orden creciente. Se el mejor desempeño; en el caso del laboratorio 17,
estableció en el protocolo un valor de nc = 3 como se observa que se encuentra arriba del valor límite
valor crítico de aceptación, donde se observa que del nc con un desempeño cuestionable (ver también
sólo un laboratorio (17) cae fuera del valor límite nc Tabla 1); también se observa que algunos
= 3. laboratorios presentan un sesgo mayor que el valor
de la variabilidad, esto podría deberse al uso de
Tabla 1. Resultados de PA para Cd, empleando ECMR. diversos MRC comerciales con dudosa trazabilidad
al sistema internacional de unidades y que son
VALOR CERTIFICADO: 1.507 ± 0.029 mg/L
ECMR Crítico (n): 3
empleados como calibradores.
mg/L
No. Lab. ECMR
Promedio Desv. Est. Sesgo ECM
12 1.501 0.005 0.006 0.008 0.273 Gráfico ECMR para Cd
14 1.494 0.010 0.013 0.017 0.573
25 1.511 0.017 0.004 0.017 0.601 3.0
13 1.486 0.002 0.021 0.021 0.737
9 1.475 0.008 0.032 0.033 1.127
20 1.471 0.005 0.036 0.036 1.242 2.5
22 1.474 0.018 0.033 0.038 1.299
2 1.458 0.007 0.049 0.049 1.706
2.0 10
18 1.524 0.048 0.017 0.051 1.753 18 15
10 1.532 0.050 0.025 0.056 1.918 21
s/U
0.5 14 24
Para establecer en el protocolo el valor nc = 3, 12
9
20 2
respecto al límite de σp para una distribución normal En la Fig. 4, se muestra un gráfico con historial de
y un intervalo de confianza de 95 %. Con el ECMR PA para el parámetro Cd desde 1994 al 2007;
este mismo laboratorio obtiene un valor de 3,5, donde se muestra como disminuye la variabilidad
resultando insatisfactorio, con respecto al límite (CV) obtenida por los valores promedio reportados
señalado por nc. Habría que hacer notar que el valor
de ECMR = 3 es equivalente al valor de z-score = 2.
nc vs Urel Cadmio
5.0
4.5
4.0
3.5
3.0
valores
2.5
2.0
1.5
1.0
0.5
0.0
ECMR
ECMR
ECMR
ECMR
ECMR
ECMR
ECMR
ECMR
ECMR
ECMR
ECMR
UR
UR
UR
UR
UR
UR
UR
UR
UR
UR
UR
1998 1998 1999 1999 2000 2000 2001 2001 2001 2001 2002 2002 2003 2003 2004 2004 2005 2005 2006 2006 2007 2007
Fig. 2. Historial de los valores de incertidumbre relativa (UR) y ECMR asignados de 1998 al 2007.
por cada laboratorio, por año, de un 15 % hasta En la Fig. 5 se muestra un gráfico con los
un valor del 4 %. En la mayoría de los ejercicios resultados de valores individuales de los
realizados de PA desde 1994 a la fecha, para laboratorios, donde es posible comparar los
otros parámetros de agua, se ha observado un valores medidos, los del ECM, los de
desempeño similar al Cd. incertidumbre reportada por cada laboratorio, así
como el valor certificado; observándose que el
z-score vs ECMR, Cd en agua ECM es un buen estimador de la incertidumbre,
4
17
pues al comparar estos valores se observa que
3
algunos laboratorios han sobrestimado (p. ej.:
24 23 21 15 Labs. 12, 20, 25, etc.) y subestimado (p. ej. Lab.
10
2 2 18
10, 15, 17, 18, 21, 23, etc.) sus incertidumbres
z-score/ ECMR
20 22
1
9
13 12
25
asociadas a los valores medidos de Cd. En el
14
caso particular del laboratorio 17, se observó en
0
20 22 9 su reporte, que usó un blanco de diferente matriz
15
-1
24 23
2 21
a la muestra; las absorbancias resultantes en la
-2
medición de la muestra quedaron situadas en el
17
límite superior de la curva de calibración y la
-3
Laboratorios
z-score ECMR
optimización del equipo se llevó a cabo fuera de
su intervalo lineal. En general malas prácticas de
Fig. 3. Resultados del z-score vs ECMR.
laboratorios como las anteriores, contribuyen a
errores sistemáticos que se reflejan en el sesgo.
En PA recientes se solicito a los participantes que
informen la estimación de incertidumbre asociada
al valor medido.
12
1.65
1.60
1.55
1.50
1.45
1.40
Valores individuales
ECM
1.35 U reportada por cada Laboratorio
Valor certificado
U, k=2
1.30
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27
Laboratorio
Fig. 5. Resultados de la PA de Cd en agua, que muestra los valores individuales, ECM e Incertidumbre de cada
laboratorio.
laboratorios, basado en dos componentes s y b, [8] ISO Guide 35:2006 -Reference Materials -
parámetros obtenidos de los laboratorios General and Statistical Principles for
participantes en las PA. De esta forma se motiva a Certification.
que cada laboratorio identifique cuidadosamente [9] ISO 5725-2:1994 Accuracy (trueness and
cada una de las magnitudes de influencia precision) of measurement methods and
significativas, y señale los campos específicos results- Part 2: Basic method for the
donde más atención se requiere. determination of repeatability and
reproducibility of a standard measurement
Es importante que los organismos de acreditación method.
promuevan que los proveedores de las PA [10] NMX-CH-164-IMNC-2006 (ISO Guide
consideren los aspectos de la trazabilidad de los 34:2000). Requisitos generales para la
valores asignados que se emplean como parte del competencia de productores de materiales de
proceso de acreditación, de modo que se evalúen referencia.
adecuadamente los resultados proporcionados por [11] NMX-CH-13528-IMNC-2007 (ISO-Guide
las mismas. 13528:2005) Métodos estadísticos para su
uso en ensayos de aptitud por
AGRADECIMIENTOS comparaciones interlaboratorios
[12] Arvizu R., Mitani Y., Perez A., Salas J.A.,
Agradecemos al personal de la División de Biological and environmental reference
Materiales Metálicos del Área de Metrología de materials in CENAM, Fresenieus J. Anal.
Materiales, por su participación en la ejecución de Chem, 370, 2001, pp. 156-159.
las PA, especialmente a Aarón Rodríguez por su [13] Mitani Y., Lara J., and Rodríguez A.,
aportación con la información al presente Proficiency testing scheme for harmonization
documento. and comparability of analytical
measurements, Accreditation and Quality
REFERENCIAS Assurance, Springer Verlag, 424, 2008.
[14] Thompson M., Ellison S., and Wood R., The
[1] Garfield F., Quality assurance principles, International Harmonized Protocol for the
AOAC Internacional, 1992. Proficiency Testing of Analytical Chemistry
[2] NOM-001-ECOL-1996, Que establece los Laboratories (IUPAC Technical Report), Pure
límites máximos permisibles de Appl. Chem., Vol. 78, No. 1, 2006, pp. 145–
contaminantes en las descargas de aguas 196.
residuales en aguas y bienes nacionales. [15] Eaton A. D., Clesceri L.S., Rice E. W.,
[3] NMX-AA-051-SCFI-2001, Análisis de aguas - Greenberg A. E., Franson M.A., Standard
Determinación de metales por absorción Methods for the Examination of Water and
atómica en aguas naturales, potables, Wastewater, 20th Edition.
residuales y residuales tratadas, NMX-AA-
060-1981 Análisis de aguas - Determinación
de Cd - Método colorimétrico de la ditizona.
[4] NMX-EC-17025-IMNC-2006 (ISO/IEC-
17025:2005)- Requisitos generales para la
competencia de los laboratorios de ensayo y
de calibración.
[5] ISO/IEC 17011:2004 Conformity assessment-
General requirements for accreditation bodies
accrediting conformity assessment bodies.
[6] ILAC-G13:2007 Guidelines for the
Requirements for the Competence of
Providers of Proficiency Testing Schemes
[7] NMX-EC-43/1-IMNC-2005 (ISO/IEC Guide
43-1:1997)–Ensayos de aptitud por
comparaciones interlaboratorios- Parte 1-
Desarrollo y funcionamiento de programas de
ensayos de aptitud.