ГОСТ Р ИСО 16269-4-2017 Статистические методы. Статистическое представление данных. Часть 4. Выявление и обработка выбросов

ГОСТ Р ИСО 16269-4-2017

Группа Т59

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Статистические методы

СТАТИСТИЧЕСКОЕ ПРЕДСТАВЛЕНИЕ ДАННЫХ

Часть 4

Выявление и обработка выбросов

Statistical methods. Statistical data presentation. Part 4. Detection and treatment of outliers

ОКС 03.120.30

Дата введения 2018-12-01

Предисловие

1 ПОДГОТОВЛЕН Открытым акционерным обществом "Научно-исследовательский центр контроля и диагностики технических систем" (АО "НИЦ КД") на основе собственного перевода на русский язык англоязычной версии международного стандарта, указанного в пункте 4

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 125 "Применение статистических методов"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 10 августа 2017 г. N 865-ст

4 Настоящий стандарт идентичен международному стандарту ИСО 16269-4:2010* "Статистическое представление данных. Часть 4. Выявление и обработка выбросов" (ISO 16269-4:2010 "Statistical interpretation of data - Part 4: Detection and treatment of outliers", IDT).

________________

* Доступ к международным и зарубежным документам, упомянутым в тексте, можно получить, обратившись в Службу поддержки пользователей. - .

Международный стандарт разработан Техническим комитетом ISO/ТС 69.

Наименование настоящего стандарта изменено относительно наименования указанного международного стандарта для приведения в соответствие с ГОСТ Р 1.5-2012 (пункт 3.5).

При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных стандартов соответствующие им национальные стандарты Российской Федерации, сведения о которых приведены в дополнительном приложении ДА*

___________________

* В оригинале приложение ДА не приводится. - .

5 ВВЕДЕН ВПЕРВЫЕ


Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)

Введение

Выявление выбросов - одна из старейших проблем анализа данных. Причинами появления выбросов могут быть ошибки измерений, ошибки отбора выборки, преднамеренное искажение или некорректная фиксация результатов анализа выборки, ошибочные предположения о распределении данных или модели, малое количество наблюдений и т.д.

Выбросы могут искажать и сокращать информацию, содержащуюся в источнике данных или процедуре их генерации. В производстве наличие выбросов снижает результативность производственных процессов, качество продукции, а также процедур контроля продукции. Выбросы не всегда следует трактовать как "плохие" или "ошибочные" данные. В некоторых случаях выбросы дают важную информацию, которую необходимо учитывать в процессе исследований.

Выявление и анализ выбросов в процессе измерения ведут к более полному пониманию изучаемых процессов и более глубокому анализу данных, и как следствие, к более достоверным выводам.

Так как проблеме обнаружения и обработки выбросов посвящено большое количество литературных публикаций, важной задачей является определение и стандартизация (на международном уровне) этих методов.

Настоящий стандарт содержит шесть приложений. В приложении A приведен алгоритм вычисления статистик и критических значений для выявления выбросов в выборке из нормального распределения. В приложениях B, D и E приведены таблицы, необходимые для применения рекомендованных в стандарте процедур. В приложении C приведено статистическое обоснование построения диаграмм, помогающих в решении задачи отслеживания выбросов. В приложении F приведено поэтапное руководство по применению процедур, установленных в настоящем стандарте, и представлена блок-схема соответствующих действий.

1 Область применения

В настоящем стандарте установлены статистические критерии и методы графического анализа данных, полученные в результате измерений. В настоящем стандарте приведены рекомендации по методам определения робастных оценок и процедурам проверки наличия выбросов в данных.

Методы, представленные в настоящем стандарте, предназначены главным образом для выявления и обработки выбросов одномерных данных. Однако в настоящем стандарте представлены также некоторые рекомендации по работе с многомерными данными и данными регрессионного анализа.

2 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

2.1 выборка, набор данных (sample, data set): Подмножество генеральной совокупности, состоящее из одной или нескольких выборочных единиц.

Примечание 1 - В зависимости от исследуемой генеральной совокупности выборочными единицами могут быть объекты, числовые значения, а также абстрактные элементы.

Примечание 2 - Выборку из генеральной совокупности, подчиняющуюся нормальному распределению (2.22), гамма-распределению (2.23), экспоненциальному распределению (2.24), распределению Вейбулла (2.25), логнормальному распределению (2.26) или распределению экстремальных значений типа I (2.27) часто называют выборкой из нормального распределения, гамма-распределения, экспоненциального распределения, распределения Вейбулла, логнормального распределения или распределения экстремальных значений типа I соответственно.

2.2 выброс (outlier): Элемент маломощного подмножества выборки, существенно отличающийся от остальных элементов выборки (2.1).

Примечание 1 - Классификация наблюдения или подмножество выборки как выброс (или выбросы) зависит от выбранной модели генеральной совокупности, из которой отобрана выборка. Выброс не рассматривают как истинный элемент генеральной совокупности.

Примечание 2 - Выброс может появиться из другой генеральной совокупности, быть результатом некорректной регистрации данных или общей ошибкой измерений.

Примечание 3 - Подмножество может содержать одно или несколько наблюдений.

2.3 маскировка (masking): Наличие более одного выброса (2.2), затрудняющее обнаружение каждого выброса.

2.4 вероятность ложного обнаружения выбросов (some-outside rate): Вероятность того, что одно или несколько наблюдений незагрязненной выборки, ошибочно классифицированы как выбросы (2.2).

2.5 метод коррекции выбросов (outlier accommodation method): Метод нечувствительный к наличию выбросов (2.2) при принятии решения о генеральной совокупности.

2.6 устойчивая оценка (resistant estimation): Оценка, подверженная лишь малым изменениям при замене небольшой доли набора данных (2.1), элементами, возможно, имеющими значительное отличие от замененных элементов.

2.7 робастная оценка (robust estimation): Оценка, нечувствительная к небольшим отклонениям от предполагаемой вероятностной модели данных.

Примечание - Примером может быть оценка, полученная методом, предназначенным для нормального распределения (2.2), при применении к близким распределениям, но имеющим некоторую асимметрию или тяжелые хвосты функции распределения. Группа таких оценок включает в себя L-оценки (взвешенное среднее арифметическое порядковых статистик (2.10)) и M-оценки (см. [9]).

2.8 ранг (rank): Положение наблюдаемого значения в упорядоченном наборе наблюдаемых значений.

Примечание 1 - Наблюдаемые значения упорядочивают в неубывающем (ведя отсчет от наименьшего элемента) или в невозрастающем (ведя отсчет от наибольшего элемента) порядке.

Примечание 2 - В соответствии с целями настоящего стандарта одинаковым наблюдаемым значениям присваивают разные, но последовательные ранги.

2.9 глубина (depth): Наименьший из двух рангов (2.8), присвоенных элементу при упорядочивании выборки (2.1) в неубывающем и невозрастающем порядках.

Примечание 1 - Значение глубины может быть не целым числом (см. приложение А).

Примечание 2 - Для всех полученных значений, отличных от медианы (2.11), глубина определяет два значения - одно ниже медианы, другое выше медианы. Например, два значения с глубиной 1 представляют собой минимальное и максимальное значение в выборке (2.1).

2.10 порядковая статистика (order statistic): Статистика, определяемая рангом при упорядочивании набора данных в неубывающем порядке.

[ИСО 3534-1:2006, п.1.9]

Примечание 1 - Пусть {, , ..., } - неупорядоченная выборка. После ее упорядочивания, обозначенные заново элементы составляют упорядоченную выборку, где , тогда - наблюдаемое значение -й порядковой статистики в выборке объема n.

Примечание 2 - На практике для определения порядковых статистик данных в выборке (2.1) производят их упорядочивание в соответствии с примечанием 1.

2.11 медиана, выборочная медиана, медиана набора чисел (median, sample median, median of a set of numbers, ): -я порядковая статистика, где , если объем выборки - нечетное число или полусумма -й и -й порядковых статистик, если n - четное число.

[ИСО 3534-1:2006, п.1.13]

Примечание - Медиана является вторым квартилем ().

2.12 первый квартиль, нижний выборочный квартиль (first quartile, sample lower quartile, ): Медиана (2.11) первых наименьших (n-1)/2 значений для нечетного числа наблюдений; медиана первых наименьших n/2 значений для четного числа наблюдений.

Примечание 1 - В литературе встречается много различных определений выборочного квартиля, что приводит в некоторой степени к различным выводам. В настоящем стандарте приведено определение, которое широко распространено и удобно в применении.

Примечание 2 - Популярными вариантами квартиля являются "сгибы" и "четверти" (2.19 и 2.20). В некоторых случаях (см. примечание 3 в 2.19) первый квартиль и нижняя четверть (2.19) идентичны.

2.13 третий квартиль, верхний выборочный квартиль (third quartile, sample upper quartile, ): Медиана (2.11) последних наибольших (n-1)/2 значений для нечетного числа наблюдений или медиана последних наибольших n/2 значений для четного числа наблюдений.

Примечание 1 - В литературе встречается много различных определений выборочного квартиля, что приводит в некоторой степени к различным выводам. В настоящем стандарте приведено определение, которое широко распространено и удобно в применении.

Примечание 2 - Популярными вариантами квартиля являются "сгибы" и "четверти" (2.19 и 2.20). В некоторых случаях (см. примечание 3 в 2.20) третий квартиль и верхняя четверть (2.20) идентичны.

2.14 межквартильный размах IQR (interquartile range, IQR): Разность третьего квартиля (2.13) и первого квартиля (2.12).

Примечание 1 - Межквартильный размах - широко применяемая статистика для описания рассеяния данных.

Примечание 2 - Иногда вместо межквартильного размаха используют разность верхней четверти (2.20) и нижней четверти (2.19), называемую "четвертным разбросом".

2.15 сводка пяти чисел (five-number summary): Набор значений выборочного минимума, первого квартиля (2.12), медианы (2.11), третьего квартиля (2.13) и выборочного максимума.

Примечание - Сводка пяти чисел дает краткую количественную информацию о положении, рассеянии и размахе данных.

2.16 диаграмма ящик с усами (box plot): Графическое представление (горизонтальное или вертикальное) сводки пяти чисел (2.15).

Примечание 1 - В случае горизонтального представления диаграммы ящик с усами, первый квартиль (2.12) и третий квартиль (2.13) наносят на диаграмму как левую и правую боковые стороны ящика, медиану (2.11) наносят как вертикальную линию, перерезающую ящик; левый ус идет от первого квартиля к наименьшему значению в выборке, не выходящему за нижнюю границу (2.17), правый ус идет от третьего квартиля к наибольшему значению, не выходящему за верхнюю границу (2.18); значения за пределами контрольных границ рассматривают как выбросы. В случае вертикального представления диаграммы, первый и третий квартили наносят на диаграмму, как нижнюю и верхнюю стороны ящика, медиану наносят как горизонтальную линию, перерезающую ящик; нижний ус идет от первого квартиля к наименьшему значению в выборке, не выходящему за нижнюю границу, верхний ус идет от третьего квартиля к наибольшему значению, не выходящему за верхнюю границу; значения за пределами контрольных границ рассматривают как выбросы.

Примечание 2 - Ширина ящика и длина уса - графические параметры диаграммы, характеризующие данные, например, параметр положения, разброс, асимметрию, длину хвостов и выбросы. На рисунке 1 для сравнения представлена диаграмма ящик с усами и функция плотности для a) равномерного, b) колоколообразного, c) положительно скошенного и d) отрицательно скошенного распределений. Для каждого распределения над диаграммой ящик с усами приведена соответствующая гистограмма.

Примечание 3 - Диаграмму ящик с усами с нижней (2.17) и верхней (2.18) границами, вычисленными с использованием коэффициента , рассчитанного на основе объема выборки n и предположении о виде распределения данных, называют модифицированной диаграммой ящик с усами (см. рисунок 2). Построение модифицированной диаграммы ящик с усами представлено в 4.4.

2.17 нижняя граница, нижняя граница отделяющая выбросы, нижнее предельное значение (lower fence, lower outlier cut-off, lower adjacent value): Значение, указанное на диаграмме ящик с усами (2.16), находящееся ниже первого квартиля (2.12) на заданное число межквартильных размахов (2.14).

Примечание - В специализированных пакетах программ статистической обработки данных нижнюю границу обычно вычисляют как , где берут равным 1,5 или 3,0. В классическом подходе, при =1,5 нижнюю границу называют "внутренней нижней границей", а при =3,0 нижнюю границу называют "внешней нижней границей".

X - значение случайной величины; Y - частота появления X

Рисунок 1 - Диаграммы ящик с усами и соответствующие гистограммы для: a) равномерного, b) колоколообразного, c) положительно скошенного и d) отрицательно скошенного распределения

Рисунок 2 - Модифицированная диаграмма ящик с усами с указанными нижней и верхней границами

2.18 верхняя граница, верхняя граница отделяющая выбросы, верхнее предельное значение (upper fence, upper outlier cut-off, upper adjacent value): Значение, указанное на диаграмме ящик с усами, расположенное выше третьего квартиля (2.13) на заданное число межквартильных размахов (2.14).

Примечание - В специализированных пакетах программ статистической обработки данных верхнюю границу обычно вычисляют как , где берут равным 1,5 или 3,0. В классическом подходе, при =1,5 верхнюю границу называют "внутренней верхней границей", а при =3,0 верхнюю границу называют "внешней верхней границей".

2.19 нижняя четверть (lower fourth, ): Для набора наблюдаемых значений величина, равная при =0 или при >0, где - целая часть , а - дробная часть .

Примечание 1 - Данное определение нижней четверти используют для вычисления рекомендуемых значений и (см. приложение C); во многих программных продуктах статистической обработки данных вычисление нижней четверти по умолчанию или в качестве выбираемой опции производится так, как указано в определении.

Примечание 2 - Нижнюю четверть и верхнюю четверть (2.20) вместе иногда называют сгибами.

Примечание 3 - Нижнюю четверть иногда рассматривают как первый квартиль (2.12).

Примечание 4 - При =0, =0,5 или =0,75 нижняя четверть тождественно равна первому квартилю, например:

2.20 верхняя четверть (lower fourth, ): Для набора наблюдаемых значений величина, равная при =0 или при >0, где - целая часть , a - дробная часть .

Примечание 1 - Данное определение верхней четверти используют для вычисления рекомендуемых значений и (см. приложение C); во многих программных продуктах статистической обработки данных вычисление верхней четверти по умолчанию или в качестве выбираемой опции производится так, как указано в определении.

Примечание 2 - Нижнюю четверть (2.19) и верхнюю четверть вместе иногда называют сгибами.

Примечание 3 - Верхнюю четверть иногда рассматривают как третий квартиль (2.13).

Примечание 4 - При =0, =0,5 или =0,75 верхняя четверть тождественно равна третьему квартилю, например:

2.21 ошибка первого рода (Type I error): Отклонение нулевой гипотезы, когда она истинна.

[ISO 3534-1:2006, п.1.46]

Примечание 1 - Ошибка первого рода - это принятие неверного решения. Поэтому, желательно поддерживать вероятность принятия такого ошибочного решения была столь малой, насколько это возможно.*

_______________

* Текст документа соответствует оригиналу. - Примечание изготовителя баз данных.

Примечание 2 - Возможно в некоторых ситуациях (например, при определении параметра биномиального распределения ), заданный уровень значимости, например, 0,05, не достижим для дискретных данных.

2.22 нормальное распределение, распределение Гаусса (normal distribution, Gaussian distribution): Распределение непрерывной случайной величины с функцией плотности вероятностей

,

где - переменная <<; , - параметры <<, >0.

[ISO 3534-1:2006, п.2.50]

Примечание 1 - Математическое ожидание - параметр положения, стандартное отклонение - параметр рассеяния данных.

Примечание 2 - Нормальная выборка является случайной выборкой (2.1), отобранной из генеральной совокупности, подчиняющейся нормальному распределению.

2.23 гамма-распределение (gamma distribution): Распределение непрерывной случайной величины с функцией плотности вероятностей

,

где - переменная, >0; , - параметры, >0, >0.

[ISO 3534-1:2006, п.2.56]

Примечание 1 - Гамма-распределение используют при исследовании безотказности для моделирования наработки до отказа. Оно включает экспоненциальное распределение (2.24), а также другие распределения, у которых интенсивность отказов увеличивается во времени.

Примечание 2 - Математическое ожидание гамма-распределения равно , дисперсия равна .

Примечание 3 - Выборка гамма-распределения является случайной выборкой (2.1), отобранной из генеральной совокупности, подчиняющейся гамма-распределению.

2.24 экспоненциальное распределение (exponential distribution): Распределение непрерывной случайной величины с функцией плотности вероятностей

,

где - переменная, >0; - параметр, >0.

[ISO 3534-1:2006, п.2.58]

Примечание 1 - Экспоненциальное распределение является основополагающим при исследовании безотказности в ситуациях отсутствия старения или "памяти".

Примечание 2 - Математическое ожидание экспоненциального распределения равно . Дисперсия экспоненциального распределения равна .

Примечание 3 - Выборка экспоненциального распределения является случайной выборкой (2.1), отобранной из генеральной совокупности, подчиняющейся экспоненциальному распределению.

2.25 распределение Вейбулла, распределение экстремальных значений типа III (Weibull distribution, type III extreme-value distribution): Распределение непрерывной случайной величины с функцией распределения

,

где - переменная, >0; , , - параметры <<, >0, >0.

[ISO 3534-1:2006, п.2.63]

Примечание 1 - Помимо того, что распределение Вейбулла является одним из трех возможных предельных распределений экстремальных значений порядковых статистик, оно также имеет ряд других важных применений, особенно в теории надежности и инженерии. Существует много ситуаций, когда полученные данные могут быть описаны распределением Вейбулла.

Примечание 2 - Параметр является параметром положения или пороговым параметром, это минимальное значение, которое может принимать случайная величина. Параметр - параметр масштаба (связан со стандартным отклонением случайной величины). Параметр - параметр формы.

Примечание 3 - Выборка из распределения Вейбулла является случайной выборкой (2.1), отобранной из генеральной совокупности, подчиняющейся распределению Вейбулла.

2.26 логнормальное распределение (lognormal distribution): Распределение случайной величины с функцией плотности вероятностей

,

где - переменная, >0; , - параметры << и >0.

[ИСО 3534-1:2006, п.2.52]

2.27 распределение экстремальных значений типа I, распределение Гумбеля (type I extreme-value distribution, Gumbel distribution): Распределение случайной величины с функцией распределения

,

где - переменная, >0; , - параметры << и >0.

Примечание - Распределения экстремальных значений позволяют получить соответствующие распределения для экстремальных порядковых статистик (2.10) и .

[ISO 3534-1:2006, п.2.61]

3 Обозначения

В настоящем стандарте использованы следующие обозначения и сокращения:

4 Выбросы в одномерных данных

4.1 Общие положения

4.1.1 Понятие выброса

В простейшем случае выброс представляет собой наблюдение, несовместимое с остальными наблюдениями набора данных. В общем случае набор данных может содержать более одного выброса, расположенных, как с одной, так и с двух сторон упорядоченного набора данных. Основная проблема выявления выбросов состоит в определении того, действительно ли наблюдения, не совместимые с остальными данными являются выбросами. Эту задачу решают посредством заданного критерия значимости с учетом предполагаемого распределения данных. Наблюдения, для которых получены значимые результаты, рассматривают как выбросы из предполагаемого распределения.

Важность правильного выбора соответствующего распределения данных нельзя переоценить. На практике часто в качестве распределения данных часто рассматривают нормальное распределение, даже если данные получены из другого источника. Однако ошибочное предположение о распределении данных может приводить к некорректному отнесению элементов выборки к выбросам.

4.1.2 Причины выбросов

Появление выбросов обычно связано с одной или несколькими причинами (детальное рассмотрение приведено в [9]).

a) Ошибки измерений и регистрации данных. Сюда относят ошибки в точности измерений, некорректно проведенные наблюдения, некорректную регистрацию данных или их введения в базу данных.

b) Загрязнение данных. Загрязнение данных происходит в том случае, когда данные принадлежат двум или более распределениям, т.е. имеется одно основное распределение и одно или несколько дополнительных распределений (примесей), загрязняющих данные. Если загрязняющие распределения имеют значительно отличающиеся от основного истинные средние, большие значения стандартных отклонений и/или более тяжелые хвосты распределений, чем у основного распределения, то существует возможность того, что экстремальные наблюдения, принадлежащие распределениям-примесям, могут появиться как выбросы основного распределения.

Примечание 1 - Причиной загрязнения может быть ошибка при отборе выборки, когда небольшую часть данных считают полученной из другой совокупности или если было осуществлено преднамеренное искажение (завышение или занижение) результатов эксперимента или опроса.

c) Ошибочное предположение о распределении данных. Набор данных считают полученным из конкретного распределения, но он получен из другого распределения.

Пример - Набор данных считают отобранным из нормального распределения, но он может иметь сильно ассиметричное распределение (например, экспоненциальное или логнормальное) или быть симметричным, но иметь тяжелые хвосты (например, t-распределение). Поэтому наблюдения, далеко отстоящие от медианы распределения, могут быть ошибочно приняты за выбросы, даже если это достоверные данные, принадлежащие ассиметричному распределению или распределению с тяжелыми хвостами.

d) Редкие наблюдения. В выборках, отобранных (как предполагается) из заданных распределений маловероятные наблюдения могут появиться в очень редких случаях. Экстремальные наблюдения в этом случае обычно принимают за выбросы, но они не являются выбросами.

Примечание 2 - Если генеральная совокупность имеет симметричное распределение с тяжелыми хвостами, то редко поступающие наблюдения могут приводить к ошибочным предположениям о распределении.

4.1.3 Необходимость обнаружения выбросов

Выбросы не всегда являются "плохими" или "ошибочными" данными. Они могут быть рассмотрены как индикаторы проявления редких явлений, требующих дальнейшего изучения. Например, если выброс вызван исключительно особенностями промышленной обработки, то важное значение имеет изучение причин выброса.

Многие методы статистической обработки данных и многие получаемые статистики чувствительны к наличию выбросов. Например, выборочные среднее и стандартное отклонения могут изменить свои значения при наличии даже одного выброса, что впоследствии может привести к неверным выводам.

4.2 Проверка данных

Проверку данных начинают с простого визуального контроля полученного набора данных. Для этого строят простые графики, такие как: точечная диаграмма, диаграмма рассеяния, гистограмма, диаграмма стебель-листья, график вероятности, диаграмма ящик с усами; график данных о времени или в порядке не убывания значений. Это может привести к обнаружению новых источников изменчивости и появлению экстремальных значений в наборе данных. Например, бимодальное распределение данных, обнаруженное с помощью гистограммы или диаграммы стебель-листья, может свидетельствовать о загрязнении выборки или смеси данных из двух разных совокупностей. График вероятности и диаграмму ящик с усами рекомендуется использовать для идентификации выбросов. Эти выбросы в дальнейшем необходимо исследовать с помощью методов, представленных в 4.3 или 4.4.

График вероятности позволяет не только осуществлять графическую проверку соответствия наблюдений или большей части наблюдений предполагаемому распределению, но может быть использован для выявления выбросов в наборе данных. Точки на графике вероятности, заметно отклоняющиеся от прямой, вокруг которой лежат все остальные наблюдения, следует рассматривать как возможные выбросы. Графики вероятности используют во многих пакетах программ статистического анализа данных.

Диаграмма ящик с усами - один из наиболее популярных инструментов графического представления данных. Ее используют для определения параметров положения, рассеяния и формы распределения данных. Нижние и верхние границы диаграммы ящик с усами определяют следующим образом

где и - первый и третий квартиль выборки; - константа.

В работе Тьюки [2] наблюдения, лежащие за пределами верхней и нижней границ, при =1,5 рассматривают как возможные выбросы, при =3 их рассматривают как явные выбросы.

Примечание 1 - Вероятностная бумага для нормального, логнормального, экспоненциального распределения и распределения Вейбулла может быть загружена с интернет-ресурса //www.weibull.com/GPaper/index.htm.

Примечание 2 - График вероятности зависит от предположений о виде распределения генеральной совокупности. Например, график вероятности для экспоненциального распределения следует использовать при наличии предположений или априорных знаний о том, что выборка отобрана из генеральной совокупности, подчиняется экспоненциальному закону.

Примечание 3 - При анализе диаграммы ящик с усами, для которой верхняя и нижняя границы определены с помощью (1), большое количество наблюдений может быть ошибочно отнесено к возможным выбросам, если выборка получена из асимметричного распределения. Данная проблема может быть устранена посредством применения модифицированной диаграммы ящик с усами (см. 4.4).

Пример - Точечная диаграмма, гистограмма, диаграмма ящик с усами и диаграмма стебель-листья для приведенной ниже выборки, представлены на рисунках 3 a), 3 b), 3 c) и 3 d) соответственно.

Данные диаграммы показывают, что распределение выборки имеет более длинный правый хвост, чем левый. По рисункам 3 a), 3 b) и 3 d) очевидно, что наибольшее значение 3,463 выглядит как возможный выброс, тогда как диаграмма ящик с усами на рисунке 3 с) определяет три наибольших значения, расположенных над верхней границей, как выбросы. Первая колонка, представленная на рисунке 3 d) диаграммы стебель-листья, показывает глубину, вторая колонка содержит стебли и третья колонка - листья. Значения в колонке глубины содержат суммарное количество листьев снизу или сверху, за исключением значения в скобках, представляющего медиану. Единичный лист указывает на позицию десятичной точки. Единичный лист 0,1 означает, что единичная точка идет перед листом, так первое представленное число равно 0,3, второе и третье 0,4 и 0,5, соответственно. Данный пример рассмотрен также в 4.3.5.

X - значение случайной величины; Y - частота появления X

Рисунок 3 - Диаграммы, построенные по набору данных

4.3 Выявление выбросов

4.3.1 Общие положения

Существует большое количество методов выявления выбросов (см. [1]). В ИСО 5725-2 (см. [3]) приведены критерии Граббса и Кохрена для идентификации выбросов данных лабораторий. Критерий Грабса применим к отдельным наблюдениям или к выборочным средним наборов данных из нормальных распределений; критерий может быть использован только для выявлений двух наибольших и/или наименьших наблюдений в качестве выбросов в наборе данных. Более общая процедура анализа, представленная в 4.3.2, способна обнаруживать множественные выбросы при анализе отдельных наблюдений или средних арифметических наборов данных, отобранных из нормального распределения. Процедуры, приведенные в 4.3.3 и в 4.3.4, способны обнаруживать множественные выбросы для данных, отобранных из экспоненциального распределения, распределения экстремальных значений типа I, распределения Вейбулла или гамма-распределения. Процедуру, приведенную в 4.3.5, следует применять для обнаружения выбросов в выборках, отобранных из совокупностей с неизвестным законом распределения. Процедура обнаружения выбросов по набору дисперсий, полученных из набора выборок, приведена в 4.3.6.

4.3.2 Выборка из нормального распределения

Один или более выбросов с обеих сторон набора данных из нормального распределения могут быть выявлены при помощи процедуры, известной как обобщенное экстремальное стьюдентизированное отклонение (GESD) (см. [4]). Процедура GESD пригодна для контроля ошибки первого рода при обнаружении более чем выбросов с уровнем значимости и 1, где - установленное максимальное количество выбросов.

Перед применением данной процедуры следует удостовериться, что большая часть выборочных данных согласуется с нормальным распределением. График вероятности для нормального распределения, приведенный в ИСО 5479 (см. [18]), может быть использован для проверки справедливости предположения о нормальности распределения.

Этапы процедуры GESD

Этап 1. Точки, соответствующие данным выборки , , ..., , наносят на график на нормальной вероятностной бумаге. Подсчитывают количество точек, значимо отклоняющихся от прямой линии, которой соответствуют остальные точки графика. Таким образом, получают количество возможных (предполагаемых) выбросов.

Этап 2. Выбирают уровень значимости и устанавливают количество выбросов как число большее или равное числу возможных выбросов, полученному на шаге 1. Следующие этапы начинают, считая =0.

Этап 3. Вычисляют контрольную статистику

, (2)

где

- исходный набор данных;

- редуцированная выборка объема , полученная исключением элемента выборки , что дает значение ;

- выборочное среднее выборки ;

- выборочное стандартное отклонение выборки .

Примечание 1 - В случае =0 и - выборочное среднее и выборочное стандартное отклонение исходной выборки объема , где наибольшим значением среди значений , , ..., является, например, значение далее и . Соответственно, - редуцированная выборка размера , полученная исключением элемента , т.е. из .

Этап 4. Вычисляют критическое значение

, (3)

где и - процентиль уровня 100-распределения с степенями свободы. Поскольку выбросы могут быть только среди верхних или нижних экстремальных значений, заменяют на .

Этап 5. Пусть

Этап 6. Повторяют этапы 2-4 до тех пор, пока не станет равно .

Этап 7. Если для всех =0, 1, 2, ..., , то считают, что выбросы не обнаружены. В противном случае наиболее экстремальных наблюдений , , ..., редуцированных выборок считают выбросами, при этом .

В приложении А приведен алгоритм программной реализации процедуры выявления выбросов GESD.

Примечание 2 - Применение процедуры GESD эквивалентно применению критерия Граббса для проверки того, является ли наибольшее или наименьшее наблюдение выбросом. Критические значения критерия Граббса приведены в таблице 5 ИСО 5725-2:1994 [3], они также могут быть аппроксимированы значением при =0 (см. этап 4).

Примечание 3 - На практике, выбирают небольшое значение количества возможных выбросов . Если в выборке ожидается наличие большого количества выбросов, то в этом случае прекращают рассматривать проблему обнаружения выбросов, и для изучения ситуации применяют другие методы. Однако не должно быть слишком маленьким, в противном случае может присутствовать эффект маскировки.

Пример - Рассмотрим набор данных из 20 наблюдений:

где последние два наблюдения первоначально составляли 0,58 и 1,26, но при регистрации данных запятые, отделяющие десятичные разряды, были ошибочно сдвинуты. Перед применением процедуры GESD для обнаружения выбросов необходимо проверить, что наблюдения соответствуют нормальному распределению. Точки на графике вероятности на нормальной вероятностной бумаге (см. рисунок 4а)) расположены вблизи прямой линии, за исключением двух точек с наибольшими значениями, заметно отклоняющихся от прямой. Данный график показывает, что набор данных, за исключением двух экстремальных значений, можно считать принадлежащим нормальной совокупности. Данное предположение подтверждает рисунок 4b), где на графике вероятности все данные, за исключением двух крайних значений, расположены внутри границы с уровнем доверия 95% доверительного интервала. Таким образом, на этапе 2 можно выбрать =2. Статистика критерия GESD () и ее критическое значение для =0, 1, 2 и уровня значимости =0,05 представлены ниже.

Так как =3,6559>=2,7058, =3,2634>=2,6785 и =2,1761=2,6992, следовательно, и *. Таким образом обнаружено два выброса, это два наиболее экстремальных значения: =12,60 и =5,80.

________________

* Формулы соответствуют оригиналу. - .

Примечание 4 - В этом и в следующем примерах не указаны единицы, в которых выполнены измерения данных, так как они не требуются для графической интерпретации и анализа данных, проводимого в рамках настоящего стандарта.

Х1 - значения исходной выборки; Х2 - значения редуцированной выборки; Y - проценты

Рисунок 4 - Графики вероятности

4.3.3 Экспоненциальная выборка

4.3.3.1 Общие положения

Для выявления выбросов в выборках из генеральной совокупности, подчиняющейся экспоненциальному закону распределения, рекомендуется использовать критерий Гринвуда (см. 4.3.3.2). Однако данный критерий позволяет лишь обнаружить наличие выбросов в выборке, но не позволяет идентифицировать конкретные выбросы и определить количество выбросов в выборке. В 4.3.3.3 и 4.3.3.4 представлены два альтернативных последовательных критерия, позволяющих идентифицировать до возможных верхних или возможных нижних выбросов в выборке из экспоненциального распределения.

4.3.3.2 Критерий наличия выбросов Гринвуда

Критерий Гринвуда - мощный критерий, позволяющий обнаружить наличие выбросов в выборке, отобранной из экспоненциального распределения с функцией плотности вероятности, , , где - параметр масштаба и - параметр положения или пороговый параметр. Для выборки , , ..., объема , из генеральной совокупности, подчиняющейся экспоненциальному закону распределения с известным параметром , статистика критерия имеет вид (см. [1]).

. (4)

Высокое значение свидетельствует о наличие некоторого (неизвестного) количества возможных выбросов среди экстремально высоких значений элементов выборки, однако, низкое значение свидетельствует о наличии некоторого (неизвестного) количества возможных выбросов как среди экстремально низких значений, так и представляющих собой комбинацию экстремально низких и экстремально высоких элементов выборки. Нижние и верхние критические значения статистики уровней 2,5% и 1% соответственно для заданных значений представлены в таблице В.1. При неизвестном изначальном параметре , в качестве его оценки используют наименьшее значение в выборке , а в качестве оценки критического значения используют .

4.3.3.3 Последовательные критерии выявления возможных выбросов среди наибольших значений выборки

Статистики критерия для выявления возможных выбросов среди наибольших значений выборки объема из экспоненциального распределения при известном параметре положения (см. [5]).

, =1, 2, ... , , (5)

где - порядковые статистики выборки. Значимо большие значения указывают на то, что высокие экстремальные значения являются выбросами. Верхние, соответствующие уровням 5% и 1%, критические значения статистики , соответствующие уровням 5% и 1% для заданных наблюдений и =2, 3 и 4 представлены в таблице В.2. Если , то наибольших наблюдений считают выбросами; если для , но , то наибольших значений считают выбросами; если для всех =1, 2, ..., , считают, что выбросы в выборке отсутствуют.

В случае, когда параметр неизвестен, в качестве его оценки используют наименьшее значение в выборке , а в качестве оценки критического значения используют .

4.3.3.4 Последовательные критерии выявления возможных выбросов среди наименьших значений выборки

Статистики критерия выявления возможных выбросов среди наименьших значений выборки из экспоненциального распределения объема при известном параметре положения (см. [5])

, =1, 2, ... , , (6)

где - порядковые статистики выборки. Значимо большие значения указывают на то, что низкие экстремальные значения являются выбросами. Нижние и верхние критические значения статистики уровня 5% и 1% соответственно для заданных значений и =2, 3 и 4 представлены в таблице В.3. Если , то наименьших наблюдений считают выбросами; если для , но , то наименьших значений считают выбросами; если для всех =1, 2, ..., считают, что выбросы отсутствуют.

Данный критерий может быть использован только для выявления выбросов в выборке из экспоненциального распределения с известным параметром . Для выборок с неизвестным параметром , для обнаружения выбросов может быть использована процедура, установленная в 4.4.

Пример - Даны упорядоченные в порядке возрастания наблюдения объема =22.

На первом этапе использования критерия Гринвуда для определения выбросов следует убедиться, что выборка отобрана из экспоненциального распределения. По графику вероятности с данными выборки, приведенному на рисунке 5а), видно, что точки данных расположены вблизи прямой линии, за исключением одной или двух точек с наибольшими значениями. Данный график показывает, что выборка, за исключением одного или двух экстремальных значений согласуется с экспоненциальным распределением. Эти выводы подтверждает рисунок 5b), где на графике вероятности все элементы выборки, за исключением двух крайних значений, расположены вблизи прямой линии. Значения оценки параметра положения =10,10 статистик критерия Гринвуда . В соответствии с таблицей В.1 нижние и верхние критические значения статистики , соответствующие уровню 2,5%, составляют соответственно 0,0673 и 0,1338. Таким образом, вычисленное значение =0,13486 выше верхнего критического значения, равного 0,1338, что позволяет сделать заключение о том, что одно или несколько экстремально высоких значений выборки являются выбросами.

Х1 - значения исходной выборки; Х2 - значения редуцированной выборки; Y - вероятность экспоненциального распределения

Рисунок 5 - Графики вероятности экспоненциального распределения

Так как возможными выбросами являются два верхних экстремальных значения, критерии, представленные в 4.3.3.3, могут быть использованы для проверки того, что выборка содержит два выброса. При =2, и.* После сравнения этих значений с соответствующими критическим и значениями =0,2313 и =0,2834, определенными по таблице В.2 для =0,05, только наибольшее значение (84,94) можно считать выбросом при уровне значимости 5%.

_______________

* Текст документа соответствует оригиналу. - .

4.3.4 Выборки не из нормальных распределений

4.3.4.1 Общие положения

Большое практическое значение имеет выявление выбросов в выборках, взятых не из нормального распределения. Задача выявления выбросов в выборках из экспоненциальных и гамма-распределений стоит, например, при проведении ресурсных испытаний транспортных и речных потоков и т.п.; выборки из распределений экстремальных значений возникают при изучении экстремумов, например, максимальной скорости ветра или максимальных спортивных достижений. Логнормальное распределение и распределение Вейбулла часто используют в задачах надежности. В случае, когда семейство распределений известно и является семейством логнормальных распределений, распределений экстремальных значений, гамма-распределений или распределений Вейбулла, рекомендуется выполнять представленные ниже преобразования данных для приведения их к необходимому распределению.

4.3.4.2 Для выборки , , ..., из логнормального распределения с функцией плотности вероятности

,

преобразованные значения , , ..., представляют собой выборку из нормального распределения с математическим ожиданием и дисперсией . Для обнаружения выбросов в преобразованной выборке может быть применена процедура, представленная в 4.3.2 и/или 4.4.

4.3.4.3 Для выборки , , ..., , взятой из распределения экстремальных значений типа I с функцией распределения

, ,

преобразованные значения , ..., представляют собой выборку из экспоненциального распределения с математическим ожиданием . Для обнаружения выбросов в преобразованной выборке может быть применена процедура, приведенная в 4.3.3 и/или 4.4.

4.3.4.4 Для выборки , , ..., , из распределения Вейбулла с функцией распределения

, , ,

преобразованные значения , , ..., представляют собой выборку из экспоненциального распределения с математическим ожиданием . Для обнаружения выбросов к преобразованной выборке может быть применена процедура, приведенная в 4.3.3 и/или 4.4.

Примечание - Если подчиняется экспоненциальному распределению, то подчиняется распределению, близкому к нормальному (см. [6]).

4.3.4.5 Для выборки , , ..., из гамма-распределения с функцией плотности вероятностей

, ,

преобразованные значения , , ..., представляют собой выборку из распределения, близкого к нормальному. Для обнаружения выбросов в преобразованной выборке может быть применена процедура, приведенная в 4.3.2 и/или 4.4.

4.3.5 Выборка из неизвестного распределения

При решении задачи выявления выбросов в выборках из генеральной совокупности с неизвестным асимметричным распределением, общий подход состоит в преобразовании данных из ненормального распределения к такому виду, в котором они будут подчиняться распределению, близкому к нормальному. Затем для обнаружения выбросов к преобразованной выборке может быть применена процедура, приведенная в 4.3.3. Для преобразования исходных данных часто применяют преобразование Бокса-Кокса и преобразование Джонсона.

Семейство преобразований Бокса-Кокса имеет форму (см. [7]):

где если , значение выбирают так, чтобы значение было положительным;

если =1, в качестве значения выбирают ноль, в результате чего исходные данные не изменяются.

В некоторых пакетах программ статистической обработки данных выбор оптимального параметра происходит автоматически.

Преобразование Джонсона с помощью семейства распределений Джонсона [8] приводит данные к виду, в котором они подчиняются распределению, близкому к нормальному.

Примечание 1 - Преобразование Бокса-Кокса и преобразование Джонсона могут быть выполнены с помощью соответствующих программных средств обработки данных.

Примечание 2 - Преобразование Бокса-Кокса достаточно просто и понятно. Однако преобразование Джонсона применимо к исходным данным, содержащим отрицательные значения.

Пример - Рассматриваемая выборка отобрана из генеральной совокупности с неизвестным распределением (выборка приведена в 4.2). Построенные по ней диаграмма рассеяния, гистограмма, диаграмма ящик с усами и диаграмма стебель-листья (см. рисунок 3) показывают, что данные взяты из асимметричного распределения. Требуется, чтобы распределение преобразованных данных было близко к нормальному. График Бокса-Кокса и график вероятности, представленные на рисунках 6 и 7, получены с помощью типового пакета программ статистической обработки данных. График, представленный на рисунке 6, соответствует оценке , равной минус 0,19, и округленное значение оценки , равное 0,00, использованное при проведении преобразования. На графике также приведена нижняя граница доверительного интервала с уровнем доверия 95%, равную минус 0,77 и соответствующая верхняя граница доверительного интервала, равная 0,36 (границы на графике показаны вертикальными линиями). На практике следует использовать значения , полученные с применением общепринятых преобразований, таких как извлечение квадратного корня (=0,5) или вычисление натурального алгоритма (=0). В настоящем примере оценка значения , равная нулю, представляет собой разумный выбор, так как попадает в доверительный интервал с уровнем доверия 95%. Таким образом, преобразование с помощью натурального логарифма может быть более предпочтительным, чем преобразование, обеспечивающее определение наилучшей оценки . Графики вероятности исходных и преобразованных данных представлены на рисунке 7. На рисунке 7b) указано -значение, вычисленное с помощью статистики критерия Андерсона-Дарлинга, равное 0,318, что говорит о том, что преобразованные данные подчиняются распределению, близкому к нормальному.

X - , Y - стандартное отклонение; 1 - нижняя доверительная граница; 2 - верхняя доверительная граница

Рисунок 6 - График Бокса-Кокса

Х1 - значения исходной выборки; Х2 - значения преобразованной выборки; Y - проценты

Рисунок 7 - Графики вероятности для исходных и преобразованных данных

4.3.6 Критерий Кохрена для выявления выбросов дисперсий

Важной задачей является обнаружение выбросов в наборе дисперсий, вычисленных по наборам выборочных данных, в частности, при определении точности методов измерений [3] посредством межлабораторных исследований. Критерий Кохрена широко используют для определения того, является ли действительно значимым отличие наибольших дисперсий от остальных дисперсий в исследуемом наборе дисперсий.

Для набора дисперсий , ..., , вычисленных по выборкам, каждая из которых имеет объем , статистика критерия Кохрена имеет вид

, (7)

где - наибольшее значение дисперсии в наборе из дисперсий. В таблицах приложения Е приведены критические значения статистики критерия Кохрена () с уровнем 5%, 1% и 0,01% для всех значений от 2 до 40, при этом предполагается, что дисперсии вычислены по выборкам объема с от 2 до 10. Если вычисленное значение превышает критическое значение, то наибольшую дисперсию в исследуемом наборе дисперсий считают выбросом.

Примечание - Критические значения статистики критерия Кохрена, приведенные в приложении Е, в идеале применяют тогда, когда все стандартные отклонения получены по выборкам одинакового объема .

Пример - Пять лабораторий принимали участие в проведении исследований по определению показателей поглощения влаги. Каждая лаборатория провела восемь экспериментов в условиях повторяемости и в соответствии со стандартным методом измерений. Был получен следующий набор дисперсий.

В соответствии с таблицей Е.1 критическое значение критерия Кохрена с уровнем доверия 5% для =5 и =8 составляет 0,4564. Так как значение статистики критерия Кохрена * превышает это критическое значение, то можно считать, что дисперсия, вычисленная по результатам лаборатории 1, значительно превышает дисперсии, полученные по результатам остальных лабораторий.

_______________

* Формула соответствует оригиналу. - .

4.4 Графический критерий выявления выбросов

Для обнаружения выбросов рекомендуется применять модифицированную диаграмму ящик с усами, если распределение совокупности является нормальным или экспоненциальным. В отличие от процедур проверки гипотез, приведенных в 4.3, графический критерий выявления выбросов, основанный на диаграмме ящик с усами, не требует предварительного знания о количестве выбросов или расположении выбросов.

При использовании модифицированной диаграммы ящик с усами для определения нижней границы и верхней границы вместо первого квартиля и третьего квартиля используют соответственно нижнюю четверть и верхнюю четверть

, (8)

где - объем выборки;

и - показатели, зависящие от предполагаемого распределения данных и объема выборки ;

- нижняя четверть на диаграмме ящик с усами

- верхняя четверть на диаграмме ящик с усами

при этом , где - целая часть , а - дробная часть и - порядковые статистики выборки.

Примечание 1 - Данное определение нижней и верхней четвертей используют для определения значений и (см. приложение С), его определяют по умолчанию в большинстве широко используемых пакетах программ статистической обработки данных.

Элементы выборки, расположенные выше верхней границы или ниже нижней границы, рассматривают как возможные выбросы. Характерной особенностью модифицированной диаграммы ящик с усами является определение констант и с учетом того, что для выборки, не содержащей выбросов, определена вероятность того, что один или более элементов выборки могут быть ошибочно классифицированы как выбросы, равная установленному малому значению . При ==1,5 модифицированная диаграмма ящик с усами является обычной диаграммой ящик с усами, рассмотренной в 4.2. Для выборок из нормального и экспоненциального распределения при выбранном значении и значения и могут быть определены в соответствии с С.2 (см. приложение С).

Примечание 2 - Нижняя граница модифицированной диаграммы ящик с усами, построенной в предположении об экспоненциальном распределении данных, может принимать отрицательные значения, если данные не подчиняются экспоненциальному распределению.

Пример 1 - Для выборки объема =20 из примера, рассмотренного в 4.3.2, =20/4=5, т.е. =5 и =0, таким образом, оценки нижней и верхней четвертей имеют вид

,

.

Для выборок из нормального распределения с =0,05 нижняя и верхняя границы построены для ==2,238 (см. пример 1 в приложении С)

,

.

Таким образом, два наиболее экстремальных значения 5,80 и 12,60, лежащие выше верхней границы, следует считать выбросами.

Пример 2 - Для выборки объема =22 из примера, рассмотренного в 4.3.3.4, =22/4=5+1/2 таким образом, оценки нижней и верхней четвертей и .

Для данной выборки с =0,05 верхняя и нижняя границы имеют вид:

,

.

Таким образом, экстремальное значение 84,94, лежащее выше верхней границы, следует рассматривать как выброс. Значения =0,6650 и =6,2313 получены в примере 2 приложения С.

Пример 3 - Предположим, что второе по величине значение в выборке из примера, приведенного в 4.3.3.4 (43,0), было ошибочно записано как 4,30. Так как значение 4,30 лежит на диаграмме ящик с усами ниже нижней границы =6,899, то его следует признать выбросом. Однако из-за эффекта маскировки, формальная процедура проверки в соответствии с 4.3 не расценивает нижнее экстремальное значение 4,30 и верхнее экстремальное значение 84,94, как выбросы.

5 Коррекция влияния выбросов в одномерной выборке

5.1 Робастный анализ данных

Каждый обнаруженный выброс должен быть исследован и объяснен. Если выброс вызван ошибкой, причина которой может быть обнаружена (например, канцелярская ошибка, ошибка получения раствора, ошибка измерений и т.д.), то его значение должно быть скорректировано, если истинное значение известно или, в противном случае, удалено. Если наличие выбросов не может быть разумно объяснено, то данные значения не следует удалять; они должны быть обработаны как достоверные наблюдения и использованы в последующем анализе данных с использованием робастных процедур, устойчивых к наличию выбросов. Методы коррекции влияния выбросов, представленные в 5.2 и 5.3, могут снижать влияние выбросов на результат анализа данных без удаления значений, которые распознаны как выбросы. Альтернативный способ состоит в проведении анализа дважды при наличии выбросов и без выбросов.

5.2 Робастная оценка параметра положения

5.2.1 Общие положения

Выборочное среднее является оптимальной оценкой параметра положения нормального распределения. Однако эта оценка не является устойчивой и робастной оценкой. В литературе предложено большое количество разнообразных процедур получения робастной оценки параметра положения. Усеченное среднее, рассмотренное в 5.2.2, широко используют для снижения искажения оценки параметра положения при наличии выбросов в выборке из симметричного распределения. Для выборок совокупности с асимметричным распределением рекомендуется определять оценку параметра положения в соответствии с 5.2.3.

5.2.2 Усеченное среднее

Если в выборке из симметричного распределения возможно наличие выбросов, в качестве оценки центра распределения рекомендуется использовать усеченное среднее.

Пусть * - порядковые статистики выборки объема .

_______________

* Формула соответствует оригиналу. - .

Пусть - наибольшее целое, меньшее или равное и - дробная часть , где - доля выбросов в выборке.

Значение - усеченного среднего [9], обозначаемого , вычисляют как среднее без учета наименьших и наибольших значений выборки, но включая в вычисления два ближайших сохраненных значения и с уменьшенным весом , например,

. (9)

Примечание 1 - Если - целое, то =0, таким образом усеченное среднее является выборочным средним усеченной выборки.

Примечание 2 - Обычно предварительно значение задают меньше 0,25. Классическое выборочное среднее - это 0-усеченное среднее, тогда как выборочная медиана представляет собой приближенно 0,5-усеченное среднее.

Примечание 3 - Другой распространенной оценкой параметра положения является -винсоризованное среднее, в котором наименьших наблюдений, отброшено до значения и наибольших наблюдений отброшено до , т.е. произведена замена наибольших и наименьших значений на значение .

Пример - Для выборки объема =20, представленной в 4.3.2, вычислены выборочные среднее и медиана, а также усеченные средние с долей усечения 5%, 10%, 15%, 18% и 20%. Получены следующие значения:

Выборочное среднее = .

Выборочная медиана =

,

,

,

,

.

Данные результаты предполагают, что относительно большое выборочное среднее соответствует наличию двух выбросов, тогда как усеченные средние стабилизируются от 10% до 20% усечения набора данных.

5.2.3 Дважды взвешенная оценка параметра положения

Дважды взвешенная оценка параметра положения [9] является устойчивой к наличию выбросов в выборках из асимметричных распределений и робастной по отношению к небольшим отклонениям от нормального распределения. Для данной выборки , , ..., объема , дважды взвешенная оценка параметра положения имеет вид

, (10)

где , =6,0, -выборочная медиана. Оценку вычисляют итеративно. Значения и являются оценкой и на -й итерации, оценка на -й итерации

.

Итеративный процесс следует продолжать до тех пор, пока последовательность оценок не станет сходиться с требуемой точностью. Например, итерации могут быть прекращены, если . Подходящим устойчивым начальным значением является выборочная медиана .

Примечание - В предположении нормальности распределения данных, дважды взвешенная оценка при =6,0 означает взвешенное среднее, в котором значениям, отклоняющимся от медианы более чем на четыре стандартных отклонения, присвоен нулевой весовой коэффициент.

Пример - Дважды взвешенная оценка параметра положения для выборки, представленной в 4.3.2, =0,176. Она близка к выборочному среднему (0,1565) при замещении двух экстремальных значений (5,80 и 12,8) корректными значениями (0,58 и 1,28).

5.3 Робастная оценка дисперсии

5.3.1 Общие положения

Ниже представлены две широко используемые оценки параметра масштаба, устойчивые к выбросам и используемые вместо оценки стандартного отклонения выборки.

5.3.2 Попарное абсолютное отклонение медиан

. (11)

Постоянная - корректирующий множитель, выбираемый так, чтобы гарантировать, что является несмещенной оценкой параметра масштаба предполагаемого распределения (нормального, экспоненциального и т.д.). Для больших выборок из нормального распределения значение =1,1926 (см. [10]), тогда как для больших выборок экспоненциального распределения =1,6982. Значения для ряда объемов выборок из нормального распределения приведены в таблице D.1.

5.3.3 Дважды взвешенная оценка параметра масштаба

Дважды взвешенная оценка параметра масштаба для выборки , , ..., соответствует представленной в [9] и имеет вид:

, (12)

где - выборочная медиана, и для выборки объема из нормального распределения. Рекомендуемое значение для составляет 9,0. Значения , основанные на =9,0 для ряда объемов выборок из нормального распределения, приведены в таблице D.1.

Примечание - В предположении нормальности распределения данных, дважды взвешенная оценка для =9,0 означает взвешенное среднее, в котором значениям, отклоняющимся от медианы более чем на шесть стандартных отклонений, присваивают нулевой весовой коэффициент.

Пример - Для выборки, представленной в 4.3.2, классическое выборочное стандартное отклонение , робастные оценки масштаба (см. 5.3.2) и (см. 5.3.3 выше) заданы следующим образом

=3,1772, =1,015, =1,1565.

Эти результаты показывают, что стандартное отклонение существенно увеличено за счет двух наибольших наблюдений. Соответствующие робастные оценки и имеют относительно небольшие, близкие друг к другу значения.

6 Выбросы многомерных и регрессионных наборов данных

6.1 Общие положения

Задача обнаружения выбросов в наборе многомерных и регрессионных данных является более сложной, чем задача обнаружения выбросов в наборе одномерных данных. Многомерный выброс - это выброс по любой из компонент наблюдения или многомерных координат. Многомерные выбросы также могут быть в некоторой степени скрыты механизмом их появления, и их присутствие обнаруживается только после анализа структуры данных. Выброс регрессионных данных может не быть просто экстремальным значением, а быть наблюдением, которое значимо отклоняется от основной регрессионной модели.

6.2 Выбросы многомерных данных

Общая идея методов выявления выбросов в многомерных наборах данных заключается в преобразовании многомерных данных к одномерным статистикам. Одной из широко используемых статистик является расстояние Махаланобиса, являющееся мерой расстояния от многомерного наблюдения до выборочного среднего набора данных, нормированного при помощи выборочной ковариационной матрицы. Из переменных (случайных величин) , , ..., составлен упорядоченный набор -мерный вектор .

Пусть - вектор средних случайных переменных , а матрица - матрица ковариаций , где диагональные элементы являются дисперсиями, а остальные - ковариациями элементов вектора .

Расстояние Махаланобиса от случайного вектора до вектора средних значений определено следующим образом

. (13)

Выбросы в выборке многомерных наблюдений объема : , , ..., могут быть выявлены посредством определения соответствующих расстояний Махаланобиса =1, 2, ..., . Если вектор может быть многомерным нормальным распределением со средним и матрицей ковариаций квадрат расстояния Махаланобиса , подчиняется распределению хи-квадрат с степенями свободы.

Приведенная выше формула для вычисления расстояния Махаланобиса зависит от знаний и . На практике требуется найти оценки и по выборочным данным. При наличии выбросов робастные оценки для и должны быть получены с помощью метода минимального определителя ковариаций (MCD). Метод MCD находит среди данных наблюдений, те наблюдений, которые придают определителю матрицы ковариаций наименьшее значение. В предположении, что выборка содержит не более 100% выбросов, значение следует выбирать близким к , однако оно должно быть больше целой части числа . Тогда среднее и матрица ковариаций, определенным по этим найденным наблюдениям являются MCD-оценками и для и соответственно. Робастное расстояние для наблюдения имеет вид:

. (14)

В предположении нормальности распределения данных, консервативный критерий [11] объявляет выбросами те наблюдения, которые имеют робастное расстояние, превышающее критическое значение , где - процентиль уровня 97,5% распределения хи-квадрат с степенями свободы.

Визуальное сопоставление расстояния Махаланобиса с робастным расстоянием, а также результативность использования робастного расстояния в выявлении выбросов показано на примере.

Пример - Дана выборка объема =35, содержащая двумерные наблюдения (, ).

Для каждого наблюдения вычислены расстояние Махаланобиса и робастное расстояние, и нанесены на график, представленный на рисунке 8; при этом был использован метод MCD при , равном 32 наблюдениям. Данный график построен при помощи свободно распространяемого пакета программ статистической обработки данных LIBRA [11]. При помощи штриховой линии представлено множество значений, для которых расстояние Махаланобиса равно робастному расстоянию. Горизонтальная и вертикальная линии пересекаются в точке, соответствующей критической точке . Точки, расположенные за этими линиями, могут быть рассмотрены как выбросы. Робастное расстояние на данном графике выявляет то, что точки 4, 11 и 35 являются выбросами. Однако расстояние Махаланобиса выявляет в качестве выбросов только точки 4 и 11. То, что расстояние Махаланобиса выявляет в качестве выбросов только точки 4 и 11, может выглядеть как эффект маскировки, рассмотренный в 2.3. При вычислении расстояния Махаланобиса без учета наблюдений 4 и 11, наблюдение 35 также выявлено как выброс.

X - расстояние Махаланобиса; Y - робастное расстояние

Для данных, представленных на рисунке 11, наблюдения 4, 11 и 35 обозначены своими номерами.

Рисунок 8 - График расстояния Махаланобиса и робастного расстояния

6.3 Выбросы в линейной регрессии

6.3.1 Общие положения

При анализе простой линейной регрессии, случайная точка (Y, X) может быть выбросом как по компоненте Y, так и по компоненте Х или по обеим. На рисунке 9 представлен график рассеяния точек с координатами (, ), точка 1 удалена от линии по координате и, таким образом является выбросом по координате , но не является выбросом по координате ; точка 3 удалена от остальных точек по координате , но по координате не является выбросом; точка 2 является выбросом как по координате , так и по координате .

1, 2, 3 - выбросы

Рисунок 9 - График рассеяния точек (Y, X)

По графику, представленному на рисунке 9, видно, что не все выбросы оказывают различное влияние на положение линии регрессии. Точка 1 имеет координату , близкую к координатам других элементов выборки, поэтому оказывает влияние только по координате . Аналогично координата точки 3 соответствует координатам других точек выборки, эта точка оказывает влияние на линию регрессии по координате . Точка 2 оказывает влияние на линию регрессии, как по координате , так и по координате .

6.3.2 Модели линейной регрессии

В моделях линейной регрессии случайную величину Y рассматривают как зависимую от единственной переменной X, линию регрессии строят по точкам (, ), =1, 2, ... , принадлежащим выборке объема , в соответствии с моделью:

(15)

при этом, определяют -й остаток, как разность между наблюдаемым значением и соответствующим приближенным значением , т.е.

, =1, 2, ..., .

С помощью обычного метода наименьших квадратов можно определить значения и , так чтобы минимизировать сумму квадратов остатков

, (16)

,

где и - выборочные средние соответственно для компонент и .

Влияние выбросов по X и/или Y на построение линии регрессии методом наименьших квадратов может быть проанализировано с помощью оценки значений

или эквивалентно

, (17)

где значения

вычисляют только на основании независимой переменной . Значения являются элементами симметричной матрицы размера , называемой проекционной матрицей. Из равенства следует, что значения являются показателем того, как значения влияют на то, насколько существенна роль в получении приближенного значения .

Подобным образом, рассматривают случайную величину Y, зависящую от случайных величин , , ..., , для которой значение регрессионной функции для выборки из элементов (, , , ..., ), =1, 2, ..., представляет собой

,

где является -м коэффициентом регрессионной функции, а - -е частное значение -й случайной независимой переменной . Как и в случае с одной независимой переменной, -й остаток приближения имеет вид . В матричном виде модель многомерной регрессии записывают следующим образом:

, (18)

где - -мерный вектор, вектор, размерности , - матрица

.

Вектор коэффициентов находят методом наименьших квадратов

(19)

и вектор значений может быть получен непосредственно в терминах проекционной матрицы :

,

где - вектор размерности , состоящий из значений .

- матрица .

6.3.3 Обнаружение выбросов по компоненте

Робастная процедура обнаружения выбросов по компоненте в выборке объема анализирует стьюдентизированные ошибки , которые являются ошибками построения регрессионной функции, вычисленными без использования -го наблюдения. Стьюдентизированные ошибки рассчитывают по формуле (см. [12]).

, =1, 2, ..., , (20)

где - -й остаток;

- диагональный элемент матрицы ;

- сумма квадратов остатков, полученных при построении регрессионной функции на основе наблюдений, при этом количество оцениваемых параметров функции регрессии равно .

Примечание - Выражение для стьюдентизированной ошибки (см. [12]) основано на том, что -е наблюдение (, , , ..., ) не включено в построение функции регрессии по оставшимся точкам. Такая ошибка может быть подсчитана для каждой -й точки без изменения регрессионной функции в соответствии с уравнением (20).

Стьюдентизированные ошибки имеют -распределение с степенями свободы, наблюдения для которых стьюдентизированные ошибки, больше чем , следует рассматривать как выбросы по компоненте .

6.3.4 Обнаружение выбросов по компоненте

Диагональные элементы матрицы также могут быть использованы для определения выбросов по компоненте . Некоторые полезные свойства элементов проекционной матрицы

,

,

если =0 или =1, то =0 для всех ,

где - количество параметров регрессионной модели, включающей постоянный член.

В частном случае, линейной регрессии с единственной независимой переменной (=1) и постоянным членом, диагональные элементы проекционной матрицы имеют вид

. (21)

Это выражение показывает, что характеризует расстояние между значением, принимаемым случайной величиной в -й точке и средним арифметическим всех значений, принимаемых . Большие значения говорят о том, что значение значительно отклоняется от соответствующих значений большинства наблюдений, о чем свидетельствует то, что при значения меньше, чем при . Диагональные элементы проекционной матрицы в данном контексте называют влиянием -го наблюдения. В общем случае считают существенным, если более чем в два раза превосходит среднее . Данное правило означает, что если , то -e наблюдение по координате следует считать выбросом. В соответствии с другим простым критерием (см. [13]):

- данные с менее 0,2 можно безопасно использовать в регрессионном анализе;

- данные с от 0,2 до 0,5 могут быть включены в регрессионный анализ;

- данные с более 0,5 должны быть исключены из регрессионного анализа.

6.3.5 Обнаружение влияющих наблюдений

Следующим шагом после выявления выбросов по компоненте и/или является установление того, ведет ли удаление точек, соответствующих выявленным выбросам к значительным изменениям построенной регрессионной модели. Широко используют два показателя влияния выявленных выбросов: значение DFFITS и расстояние Кука (см. [12], [14]).

Значение DFFITS

Обозначение DFFITS представляет собой аббревиатуру английского выражения, означающего "различие приближений". Для -го наблюдаемого значения DFFITS определяют как

, (22)

где - стьюдентизированная ошибка, определяемая по формуле (20). Наблюдаемое значение с номером считают влияющим элементом выборки, если абсолютное значение , превышает 1 для малых и средних выборок и превышает для больших выборок.

Расстояние Кука

Расстояние Кука, обозначаемое , определяют следующим образом

, (23)

где большие значения или дают большие значения . Таким образом, большие значения свидетельствуют о влияющих наблюдениях. В [14] сделано предположение, что наблюдения, для которых расстояние Кука превышает значение , соответствующее процентилю уровня 50% -распределения, можно считать влияющими выбросами; здесь - объем выборки, - количество параметров регрессионной модели (включая свободный член), показывающий количество степеней свободы, связанных с числителем - число степеней свободы, связанных со знаменателем. Наблюдения со значениями расстояния Кука, превышающими , следует изучить на предмет наличия ошибок при записи полученных данных или других возможных причин появления экстремальных значений.

Примечание - Приведенные методы не эффективны, если два или более влияющих наблюдения расположены близко друг к другу. Дополнительные процедуры, направленные на выявления двух или более влияющих наблюдений, расположенных близко друг к другу, требуют выполнения значительного количества вычислений.

Пример - Проведено исследование по определению связи общего содержания жира в организме человека () с толщиной кожной складки над трицепсом () и обхватом бедра () (см. столбцы 2, 3 и 4 в таблице ниже). Данные исследования представлены в [12]. Трехмерный график для точек (, , ) приведен на рисунке 10.

X - толщина кожной складки над трицепсом; Y - обхват бедра; Z - общее содержание жира

Рисунок 10 - График рассеяния для связи общего содержания жира с обхватом бедра и толщиной кожной складки над трицепсом

Методом наименьших квадратов получена функция регрессии

при этом сумма квадратов остатков ; и для полученной функции регрессии представлены соответственно в столбцах 5, 6 и 7 таблицы выше.

Так как =20 и =2, то при установленном уровне значимости =0,05

.

Так как для всех , то по компоненте не выявлено выбросов.

При выявлении выбросов по компоненте , получено, что =0,372 и =0,33 превышают значение

,

т.е. наблюдения 3 и 15 являются выбросами по компоненте .

Для определения влияния наблюдений 3 и 15 на построенную линию регрессии подсчитаны соответствующие значения расстояния Кука

и =0,212. Так как оба значения меньше значения =0,8212, то наблюдения 3 и 15 не объявлены влияющими выбросами.

Функция регрессии при исключении наблюдения 3 представляет собой

здесь значения оценок параметров существенно отличаются от соответствующих оценок, полученных с учетом 3-го наблюдения.

6.3.6 Робастная регрессионная процедура

Альтернативный подход к выявлению выбросов в регрессионном анализе состоит в построении робастной регрессионной модели для большей части данных и дальнейшем определении выбросов как точек, имеющих наибольшие остатки. Широко используют робастную регрессионную модель, получаемую методом усеченных наименьших квадратов (LTS) [15]. Регрессионные коэффициенты LTS-регрессии получают путем минимизации суммы наименьших квадратов регрессионных остатков. Также рассматривают выборку объема (, , , ..., ), =1, 2, ..., , где приближенные значения и остатки находят по формулам

,

соответственно.

В данном случае коэффициенты , , ..., , LTS-регрессии представляют собой значения, минимизирующие сумму квадратов остатков , где является -й порядковой статистикой квадратов остатков (т.е. остатки сначала возводят в квадрат, а затем упорядочивают), - количество наблюдений (из наблюдений), в отношении которых делается предположение о том, что они хорошо соответствуют регрессионной модели, полученной методом LTS. Если предполагается, что выборка содержит не более 100% выбросов, значение следует брать близким к , но не менее целой части значения . Наблюдения, содержащие большие остатки, считают выбросами.

Примечание - Оценку коэффициентов LTS-регрессии можно получить с помощью патентованных программных средств статистической обработки данных.

Пример - Для двумерных данных, составляющих выборку, рассмотренную в 6.2, на рисунке 11 представлены две линии регрессии, одна, соответствующая построению с помощью обычного метода наименьших квадратов (OLS), другая с помощью метода усеченных наименьших квадратов (LTS) при .

В соответствии с 6.2, точки 4, 11 и 35 представляют собой выбросы.

Рисунок 11 - Сравнение линий регрессии, построенных с помощью LTS и OLS

Две наиболее влиятельные точки, расположенные в левом верхнем углу, вызывают отклонение линии регрессии, полученной OLS-методом от основной массы элементов выборки, при этом метод LTS позволяет определить линию регрессии очень хорошо соответствующую данным. Робастная процедура LTS-регрессии по существу игнорирует две влияющих точки, в построение регрессионной модели входит только около 90% выборочных данных.

Приложение А
(обязательное)

Алгоритм GESD-процедуры обнаружения выбросов

Пусть выборка , , ..., объема отобрана из нормального распределения. Следующий алгоритм описывает необходимые этапы обнаружения возможных выбросов с помощью процедуры обобщенных стьюдентизированных экстремальных отклонений (GESD) с уровнем значимости .

Считывают значения , .

Устанавливают =0.

Устанавливают .

ПОВТОРЯЮТ

Вычисляют выборочное среднее и выборочное стандартное отклонение для выборки .

Вычисляют статистику .

Вычисляют процентиль -распределения с степенями свободы, где уровня 100.

Вычисляют критическое значение .

Устанавливают (см. примечание 1).

Устанавливают .

ДО ТЕХ ПОР ПОКА НЕ ВЫПОЛНЕНО .

Устанавливают =0.

ПОВТОРЯЮТ

Если , то (значение в , участвующее в вычислении значения ) считают выбросом.

Устанавливают .

ДО ТЕХ ПОР ПОКА НЕ ВЫПОЛНЕНО .

Примечание 1 - представляет собой редуцированную выборку объема , полученную удалением точки , участвующей в вычислении значения , из выборки .

Примечание 2 - Если , для всех =0, 1, 2, ..., , то делают заключение о том, что в выборке нет выбросов.

Приложение В
(обязательное)

Критические значения статистик для критерия наличия выбросов в выборке из экспоненциального распределения

Таблица В.1 - Нижние и верхние критические уровни 2,5% и 1% значения для статистики критерия Гринвуда для выборки из экспоненциального распределения

Таблица В.2 - Верхние критические значения уровня 5% и 1% для последовательных критериев обнаружения верхних выбросов в выборке из экспоненциального распределения при =2

Таблица В.3 - Верхние критические значения уровня 5% и 1% для последовательных критериев обнаружения верхних выбросов в выборке из экспоненциального распределения при =3

Таблица В.4 - Верхние критические значения уровня 5% и 1% для последовательных критериев обнаружения верхних выбросов в выборке из экспоненциального распределения при =4

Таблица В.5 - Верхние критические значения уровня 5% и 1% для последовательных критериев обнаружения нижних выбросов в выборке из экспоненциального распределения при =2

Таблица В.6 - Верхние критические значения уровня 5% и 1% для последовательных критериев обнаружения нижних выбросов в выборке из экспоненциального распределения при =3

Таблица В.7 - Верхние критические значения уровня 5% и 1% для последовательных критериев обнаружения нижних выбросов в выборке из экспоненциального распределения при =4