ГОСТ Р ИСО 11843-7-2020
НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
Статистические методы
СПОСОБНОСТЬ ОБНАРУЖЕНИЯ
Часть 7
Методы оценки с учетом фонового шума
Statistical methods. Capability of detection. Part 7. Methods of an estimation taking into account background noise
ОКС 03.120.30
17.020
Дата введения 2021-06-01
Предисловие
1 ПОДГОТОВЛЕН Закрытым акционерным обществом "Научно-исследовательский центр контроля и диагностики технических систем" (ЗАО "НИЦ КД") на основе собственного перевода на русский язык англоязычной версии стандарта, указанного в пункте 4
2 ВНЕСЕН Техническим комитетом по стандартизации ТК 125 "Применение статистических методов"
3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 26 августа 2020 г. N 529-ст
4 Настоящий стандарт идентичен международному стандарту ИСО 11843-7:2018 "Способность обнаружения. Часть 7. Методология, основанная на стохастических свойствах инструментального шума" (ISO 11843-7:2018 "Capability of detection - Part 7: Methodology based on stochastic properties of instrumental noise", IDT).
________________
* Доступ к международным и зарубежным документам, упомянутым в тексте, можно получить, обратившись в Службу поддержки пользователей. - .
Международный стандарт разработан Техническим комитетом ISO/TC 69.
Наименование настоящего стандарта изменено относительно наименования указанного международного стандарта для приведения в соответствие с ГОСТ Р 1.5-2012 (пункт 3.5).
При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных стандартов соответствующие им национальные стандарты, сведения о которых приведены в дополнительном приложении ДА
5 ВЗАМЕН ГОСТ Р ИСО 11843-7-2014
Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)
Введение
Методология линейной и нелинейной калибровки, приведенная в серии стандартов ИСО 11843, основана на использовании распределения вероятностей приведенной переменной состояния (измеряемая величина). При этом (явно или неявно) уделено внимание неопределенности, соответствующей оценке измеряемого отклика, преимущественно создаваемой базовым шумом при инструментальном анализе. Во многих аналитических приборах в тех случаях, когда значение измеряемой величины близко к минимальному обнаруживаемому значению, базовый шум является основной причиной неопределенности. Метод, установленный в настоящем стандарте в пределах его области применения, не требует повторного отбора образцов (выборок), что способствует экономии времени и средств.
Основой настоящего стандарта является математическое описание распределения вероятностей переменной отклика в терминах математически определенных случайных процессов. Это описание приводит к определению минимального обнаруживаемого значения. Для описания взаимосвязи отклика и измеряемой величины применены линейные и нелинейные калибровочные функции. Таким образом, настоящий стандарт согласован с ИСО 11843-2 и ИСО 11843-5.
Определение и применение минимального обнаруживаемого значения установлены в ИСО 11843-1
________________
Минимальное обнаруживаемое значение
Если калибровочная функция нелинейна, функция прецизионности переменной отклика в настоящем стандарте должна быть преобразована в функцию прецизионности приведенной переменной состояния, как показано в ИСО 11843-5. В этой ситуации ИСО 11843-5 может быть использован для целей настоящего стандарта без каких-либо изменений.
Положения настоящего стандарта, относящиеся к калибровке, распространяются также на градуировку. При этом под калибровочной функцией следует понимать градуировочную кривую.
1 Область применения
Фоновый шум всегда существует в аналитических инструментах. В настоящем стандарте установлены методы оценки минимального обнаруживаемого значения в случае, когда фоновый шум является преобладающим источником неопределенности измерений. Минимальное обнаруживаемое значение может быть математически выведено на основе стохастических характеристик фонового шума.
В стандарте установлены основные методы:
- определения стохастических свойств фонового шума;
- использования стохастических свойств фонового шума для оценки стандартного отклонения (SD) или коэффициента вариации (CV) переменной отклика;
- вычисления минимального обнаруживаемого значения на основе полученных значений SD или CV.
Методы, установленные в настоящем стандарте, полезны для проверки обнаружения вещества с помощью различного типа измерительного оборудования, в котором фоновый шум преобладает над другими источниками неопределенности. Таким измерительным оборудованием могут быть приборы видимой и ультрафиолетовой поглотительной спектрометрии, атомной поглотительной спектрометрии, атомно-флуоресцентной спектрометрии, люминесцентной спектрометрии, хроматографии жидкостей и газов.
2 Нормативные ссылки
В настоящем стандарте использованы нормативные ссылки на следующие стандарты:
ISO 3534-1, Statistics - Vocabulary and symbols - Part 1: General statistical terms and terms used in probabilit
___________________
* Текст документа соответствует оригиналу. - .
ISO 3534-2, Statistics - Vocabulary and symbols - Part 2: Applied statistics (Статистика. Словарь и условные обозначения. Часть 2. Прикладная статистика)
ISO 3534-3, Statistics - Vocabulary and symbols - Part 3: Design of experiments (Статистика. Словарь и условные обозначения. Часть 3. Планирование эксперимента)
ISO 5725-1, Accuracy (trueness and precision) of measurement methods and results - Part 1: General principles and definitions [Точность (правильность и прецизионность) методов и результатов измерений. Часть 1. Общие принципы и определения]
ISO 11843-1, Capability of detection - Part 1: Terms and definitions (Способность обнаружения. Часть 1. Термины и определения)
ISO 11843-2, Capability of detection - Part 2: Methodology in the linear calibration case (Способность обнаружения. Часть 2. Методология в случае линейной калибровки)
ISO 11843-5, Capability of detection - Part 5: Methodology in the linear and non-linear calibration cases (Способность обнаружения. Часть 5. Методология в случаях линейной и нелинейной калибровки)
3 Термины и определения
В настоящем стандарте применены термины по ИСО 3534-1, ИСО 3534-2, ИСО 3534-3, ИСО 5725-1, ИСО 11843-1, ИСО 11843-2, ИСО 11843-5, а также следующие термины с соответствующими определениями. Перечень обозначений и сокращений, используемых в настоящем стандарте, приведен в приложении А.
Терминологические базы данных ИСО и МЭК доступны по следующим интернет-адресам:
- электронная платформа ИСО с функцией онлайн-просмотра терминов по адресу: //www.iso.org/obp;
- электронная база МЭК Electropedia по адресу: //www.electropedia.org/.
3.1 функция прецизионности (precision profile): Математическое описание стандартного отклонения (SD) переменной отклика
Примечание 1 - Коэффициент вариации (CV) переменной отклика или приведенной переменной состояния как функции приведенной переменной состояния также применяют в качестве функции прецизионности.
Примечание 2 - Под точностью понимают значение SD или CV наблюдаемой переменной отклика или SD или CV приведенной переменной состояния при оценке с помощью калибровочной функции (ИСО 11843-5).
[ИСО 11843-5:2008, пункт 3.4, определение модифицировано]
3.2 минимальное обнаруживаемое значение приведенной переменной состояния
Примечание 1 - Если стандартное отклонение приведенной переменной
где
Если стандартное отклонение
где
Примечание 2 - Если приведенная переменная состояния имеет нормальное распределение, для ошибок первого и второго рода, равных 5%, коэффициенты
Примечание 3 - Если
Примечание 4 - Существует большое количество видов функции прецизионности (3.1), но они могут быть преобразованы одна в другую.
Например, стандартное отклонение
[ИСО 11843-5:2008, пункт 3.2, определение модифицировано]
4 Количественный анализ и фоновый шум
4.1 Источники ошибок при анализе
Количественный анализ процедуры определения значения измеряемой величины, как правило, включает подготовку пробы (выборки), инструментальный анализ, обработку данных и калибровку. Эти этапы анализа технически не зависят друг от друга как процедурно, так и в вероятностном смысле.
В настоящем стандарте рассмотрен только инструментальный анализ. Однако ошибки других этапов также влияют на конечное значение измеряемой величины. Таким образом, суммарная неопределенность оценки измеряемой величины зависит от неопределенностей соответствующих этапов. Для использования настоящего стандарта необходимо выполнение следующих условий.
Если значение содержания вещества близко к минимальному обнаруживаемому значению в хроматографии, то ошибка, соответствующая вводимой в хроматограф пробе, менее значима (например, коэффициент вариации
Обработка данных - процесс, направленный на выделение из общего инструментального шума таких параметров сигнала, как высота или площадь пика (относительная высота вершины пикообразного сигнала или интеграл интенсивности сигнала по области сигнала соответственно). В настоящем стандарте приведен метод статистического анализа влияния этого процесса на неопределенность результатов измерений. Использование цифрового или аналогового фильтра также может быть учтено при выполнении анализа шума после фильтрации.
4.2 Случайный процесс фонового шума
Типичными примерами переменной отклика в хроматографии являются высота и площадь пика. В настоящем стандарте за разность [формула (6)] и площадь [формулы (10) и (11)] интенсивностей принимают соответственно разность и сумму интенсивностей
Спектр мощности
где значение
Самая простая модель случайного процесса - белый шум. Пусть
Процесс авторегрессии представляет собой математическую модель, в которой интенсивности
где
5 Теория прецизионности
5.1 Теория, основанная на функции автоковариации
Теория, предложенная Вайнефорднером (см. [2], [3], [4]), основана на функции автоковариации
где
Рисунок 1 - Сигнал (верхняя линия) и шум (нижняя линия)
В верхней части рисунка 1 изображен сигнал в виде прямоугольного импульса. Шум (являющийся фоном), накладывающийся на сигнал, изображен в нижней части рисунка.
Разность значений функции автоковариации
Здесь
Формула (7) имеет практическое применение (см. рисунок 2), когда фактические функции автоковариации
Рисунок 2 - Функция автоковариации шума
Можно использовать теорему Винера-Хинчина (см. [5]), связывающую функцию автоковариации со спектральной плотностью мощности (спектром мощности) через преобразование Фурье
где
Формула (8) показывает, как оценить стандартное отклонение [см. формулу (7)] на основе спектра мощности шума.
5.2 Теория, основанная на спектре мощности
Теория, основанная на спектре мощности базовой линии, или теория FUMI (функции взаимной информации) (см. [6], [7], [8]), дает возможность вычислять стандартное отклонение измеренных площади и высоты пика при инструментальном анализе. Измеренные значения представляют собой суммарную интенсивность выходных данных измерительного прибора по заданной области, как показано на рисунке 3. Если сигнал (форма и размер) является инвариантным, ошибка при измерении площади или высоты пика связана только с шумом и равна площади (высоте), соответствующей шуму в заданной области. Таким образом, ошибка измерений характеризуется площадью (высотой) пика, соответствующей шуму. Стандартные отклонения площади (высоты) пика шума совпадают со стандартными отклонениями измеренной площади или высоты пика.
Рисунок 3 - Сигнал и шум в нулевой области и области наложения сигнала и шума
Количество точек данных в области наложения сигнала и шума равно
В теории FUMI интенсивность шума
Целью теории FUMI является определение оценки стандартного отклонения шума
На практике, особенно в хроматографии, приняты различные способы объединения сигнала и шума (см. рисунок 4). Измеряемой величиной является объединенная интенсивность выше базовой линии, которая может быть горизонтальной или наклонной в пределах области
Рисунок 4 - Модели наложения выше горизонтальной линии (пунктирная линия) и наклонной линии (сплошная линия) между точками
Площадь области между случайной траекторией процесса "сигнал плюс шум" и горизонтальной линией в заданной области (без сигнала) можно записать в виде
где
Здесь
Если в качестве базовой линии использована наклонная линия,
где
Общее выражение для стандартного отклонения
где
Приведенные формулы выведены на основе предположения о том, что не существует неопределенности нулевого уровня, т.е.
Квадрат стандартного отклонения
где
Обоснование формул (14) и (15) приведено в приложении C. Минимальное обнаруживаемое значение может быть получено подстановкой формулы (13) в формулу (2).
Дисперсия
Влияние объединения сигналов в установленной области принимает вид (см. [6], [7], [8])
где
Пять членов в формуле (15) обозначают следующие стохастические вклады в неопределенность измерений:
- первый член: погрешность белого шума в области объединения сигнала и шума (всего точек
- второй член: ошибка процесса авторегрессии в области объединения сигнала и шума (
- третий член: влияние
- четвертый член: влияние белого шума при наклонной базовой линии;
- пятый член: влияние процесса авторегрессии при наклонной базовой линии.
Примечание - Применимость теории FUMI довольно широка, но существуют две ситуации, в которых она не применима:
- основным источником погрешности не является фоновый шум. В масс-спектроскопии, если процесс ионизации дает намного большую погрешность, чем шум, теория FUMI дает заниженное значение стандартного отклонения в области измерений;
- если фактический инструментальный шум включает шум, который не может быть успешно аппроксимирован объединенным процессом белого шума и процесса авторегрессии. Пример - шум высокой интенсивности.
Изменения базовой линии фиксированных образцов, которые находятся вне предположения о стационарности, часто наблюдаются в градиентной хроматографии, но способ объединения с наклонной базовой линией может гарантировать робастность подхода, хоть и ограниченно.
6 Практическое применение теории FUMI
6.1 Оценка параметров шума
Все параметры, необходимые для применения теории FUMI, т.е. формулы (13)-(16), могут быть однозначно определены на основе экспериментальных данных. Параметры сигнала (
Спектральную плотность мощности шума получают с помощью преобразования Фурье результатов измерений
где
Спектральная плотность мощности
где
Если принять модель шума, описанную формулой (9), спектральную плотность мощности в формуле (19) можно описать (см. [6], [7], [8]) следующей формулой
Параметры шума
Первый член преобразования Фурье
На практике частоту
Рисунок 5 - Спектральная плотность мощности смоделированного шума
На практике спектральная плотность мощности сигнала является обычно менее гладкой, чем показанная на рисунке 5. При обработке реальных наблюдений обычно имеются небольшие отклонения от гладкой кривой.
6.2 Оценка параметров шума при помощи функции автоковариации
Другой метод, основанный на [9], представлен ниже для определения оценок параметров
Оценка
где
Оценки других параметров могут быть определены следующим образом:
где
Преимущество этого метода по сравнению с методом, приведенным в 6.1, состоит в том, что количество данных, используемых для определения оценок параметров шума в первом методе, ограничено
Приведенный в данном подразделе метод применим к фоновому шуму, представляющему собой смесь случайных процессов белого шума и процесса авторегрессии или только процесс авторегрессии, но не отдельно белый шум.
6.3 Процедуры определения оценки стандартного отклонения
При применении теории FUMI для определения оценки стандартного отклонения в области выполнения измерений необходимы выходные данные измерительного прибора, что в свою очередь позволяет определить минимальное обнаруживаемое значение. Полный набор этапов вычислений показан на рисунке 6.
Для определения параметров сигнала и шума необходимы такие выходные данные, как хроматограммы и спектры. Параметры сигнала включают область сигнала от точки 0 до точки
Параметры сигнала произвольны, но на практике будут полезны следующие рекомендации. Для Гауссовского сигнала, такого как показанный на рисунке 3, область сигнала может охватывать
В отличие от параметров сигнала, параметры шума (
На втором этапе выполняют преобразование Фурье фонового шума в этой области и вычисляют спектральную плотность мощности по формуле (20). Если в формуле (20) количество точек
На третьем этапе методом наименьших квадратов подбирают теоретическую кривую [формула (20)] для спектральной плотности мощности, как упомянуто выше. При небольшом количестве данных в области быстрого преобразования Фурье (например, 32) в некоторых случаях появляется смещение оценок параметров шума.
Параметры сигнала и шума, определенные как упомянуто выше, подставляют в формулы (13)-(16) для получения окончательного значения в соответствии с теорией FUMI (прецизионности).
Минимальное обнаруживаемое значение может быть найдено графически на основе показателей прецизионности, как приведенная переменная состояния, в которой коэффициент вариации приведенной переменной состояния составляет 30%. Этот метод также применим для коэффициента вариации переменной отклика, так как функция прецизионности приведенной переменной состояния идентична таковой для переменной отклика, если калибровочная функция линейна (см. [10], [11]). В случае нелинейной калибровочной функции, функции прецизионности переменной отклика и приведенной переменной состояния различны. В этом случае для преобразования различных функций прецизионности и оценки минимального обнаруживаемого значения применяют метод, установленный в ИСО 11843-5.
Таблица 1 - Пример оценки параметров шума в хроматографии (см. [6])
Эксперимент | |||
Эксперимент A | 14 | 3,7 | 0,99 |
Эксперимент B | 12 | 9,0 | 0,94 |
Эксперимент C | 14 | 5,6 | 0,99 |
Рисунок 6 - Схема применения теории FUMI
Приложение А
(справочное)
Обозначения и сокращения
SD - стандартное отклонение;
CV - коэффициент вариации (SD, деленное на среднее);
FUMI - функция взаимной информации.
Приложение В
(справочное)
Обоснование формулы (7)
Дисперсия разности интенсивностей в точках
В соответствии с определением функции автоковариации [формула (5)] второй член в правой части формулы (B.1) может быть записан в виде
В соответствии с предположением о стационарности фонового шума первый и второй члены правой части формулы (B.1) равны
Под предположением о стационарности шума следует понимать, что дисперсия фонового шума является постоянной во времени. Тогда формулу (B.1) можно записать в виде
Учитывая определение автоковариации [формула (5)], из (В.4) можно получить формулу (7).
Приложение С
(справочное)
Обоснование формул (14)-(16)
Основное предположение при выводе формул (14)-(16) состоит в том, что случайные величины белого шума являются статистически независимыми:
где формула (C.5) справедлива при любом условии. Все расчеты в данном приложении сделаны для наклонной базовой линии, для горизонтальной базовой линии они также справедливы.
Угловой коэффициент наклонной базовой линии, связывающий нулевую точку (
где значения
где
где
Сумма процесса авторегрессии выбрана в качестве простого примера измеряемой площади. Если
Сумму процесса авторегрессии можно записать в виде
По определению
Эту формулу можно записать в более простом виде
Замена
Неопределенность, связанная с установкой нуля, может быть получена аналогичным способом (см. [8]). Нулевой уровень
где
Поэтому неопределенность, связанная с установкой нуля, имеет вид
где
Приложение ДА
(справочное)
Сведения о соответствии ссылочных международных стандартов национальным стандартам
Таблица ДА.1
Обозначение ссылочного международного стандарта | Степень соответствия | Обозначение и наименование соответствующего национального стандарта |
ISO 3534-1:2006 | IDT | ГОСТ Р ИСО 3534-1-2019 "Статистические методы. Словарь и условные обозначения. Часть 1. Общие статистические термины и термины, используемые в теории вероятностей" |
ISO 3534-2:2006 | IDT | ГОСТ Р ИСО 3534-2-2019 "Статистические методы. Словарь и условные обозначения. Часть 2. Прикладная статистика" |
ISO 3534-3:1999 | IDT | Р 50.1.040-2002 "Статистические методы. Планирование экспериментов. Термины и определения" |
ISO 5725-1:1994 | IDT | ГОСТ Р ИСО 5725-1-2002 "Точность (правильность и прецизионность) методов и результатов измерений. Часть 1. Основные положения и определения" |
ISO 11843-1:1997 | IDT | ГОСТ Р ИСО 11843-1-2007 "Статистические методы. Способность обнаружения. Часть 1. Термины и определения" |
ISO 11843-2:2000 | IDT | ГОСТ Р ИСО 11843-2-2007 "Статистические методы. Способность обнаружения. Часть 2. Методология в случае линейной калибровки" |
ISO 11843-5:2008 | IDT | ГОСТ Р ИСО 11843-5-2012 "Статистические методы. Способность обнаружения. Часть 5. Методология в случаях линейной и нелинейной калибровки" |
Примечание - В настоящей таблице использовано следующее условное обозначение степени соответствия стандартов: |
Библиография
[1] | Ingle J.D. Jr. and Crouch S.R. Spectrochemical Analysis. Prentice-Hall, Inc. - New Jersey, 1988 |
[2] | Alkemade C.Th. J., Snelleman W., Boutilier G.D., Pollard B.D., Winefordner J.D., Chester T.L. and Omenetto N. A review and tutorial discussion of noise and signal-to-noise ratios in analytical spectrometry-I. Fundamental principles of signal-to-noise ratios. Spectrochim. - Acta, 33B. - pp.383-399. - 1978 |
[3] | Boutilier G.D., Pollard B.D., Winefordner J.D., Chester T.L. and Omenetto N. A review and tutorial discussion of noise and signal-to-noise ratios in analytical spectrometry-II. Fundamental principles of signal-to-noise ratios. Spectrochim. - Acta, 33B. - pp.401-415. - 1978 |
[4] | Alkemade C.Th. J., Snelleman W., Boutilier G.D. and Winefordner J.D. A review and tutorial discussion of noise and signal-to-noise ratios in analytical spectrometry-III. Multiplicative noises. Spectrochim. - Acta, 35B. - pp.261-270. - 1980 |
[5] | Hino M. Spectral Analysis (Supekutoru Kaiseki). Asakura Shoten. - Tokyo. - 1982 |
[6] | Hayashi Y. and Matsuda R. Deductive prediction of measurement precision from signal and noise in liquid chromatography. - Anal. Chem. - 66(18). - pp.2874-2881. - 1994 |
[7] | Hayashi Y. and Matsuda R. Prediction of precision from signal and noise measurement in liquid chromatography: Mathematical relationship between integration domain and precision. - Chromatographia. - 41. - pp.75-83. - 1995 |
[8] | Poe R.B., Hayashi Y. and Matsuda R. Precision-optimization of wavelengths in diode-array detection in separation science. - Anal.Sci. - 13. - pp.951-962. - 1997 |
[9] | Hayashi Y., & Zhang N.F. Evaluation of measurement precision from stationary baseline noise in instrumental analyses. - Anal. Sci. - 31. - pp.1219-1224. - 2015 |
[10] | Kotani A., Yuan Y., Yang B., Hayashi Y., Matsuda R. and Kusu F. Selection of the optimal solvent grade for the mobile phase in HPLC with electrochemical detection based on FUMI theory. - Anal. Sci. - 25. - pp.925-929. - 2009 |
[11] | Kotani A., Kojima S., Hayashi Y., Matsuda R. and Kusu F. Optimization of capillary liquid chromatography with electrochemical detection for determining femtogram levels of baicalin and baicalein on the basis of the FUMI theory. - J. Pharm. Biomed. Anal. - 48. - pp.780-787. - 2008 |
УДК 658.562.012.7:65.012.122:006.354 | ОКС | 03.120.30 |
17.020 | ||
Ключевые слова: измерение, отклик, стандартное состояние, базовое состояние, приведенная переменная состояния, калибровка, критическое значение отклика, ошибка первого рода |
Электронный текст документа
и сверен по:
, 2020