ГОСТ ISO/IEC 17043-2013
МЕЖГОСУДАРСТВЕННЫЙ СТАНДАРТ
ОЦЕНКА СООТВЕТСТВИЯ
Основные требования к проведению проверки квалификации
Conformity assessment. General requirements for proficiency testing
МКС 03.120.20
Дата введения 2015-03-01
Предисловие
Цели, основные принципы и общие правила проведения работ по межгосударственной стандартизации установлены ГОСТ 1.0 "Межгосударственная система стандартизации. Основные положения" и ГОСТ 1.2 "Межгосударственная система стандартизации. Стандарты межгосударственные, правила и рекомендации по межгосударственной стандартизации. Правила разработки, принятия, обновления и отмены"
Сведения о стандарте
1 ПОДГОТОВЛЕН Республиканским унитарным предприятием "Белорусский государственный институт метрологии" (БелГИМ) и Федеральным государственным унитарным предприятием "Уральский научно-исследовательский институт метрологии" (ФГУП "УНИИМ") на основе собственного перевода на русский язык англоязычной версии стандарта, указанного в пункте 5
2 ВНЕСЕН Госстандартом Республики Беларусь и Федеральным агентством по техническому регулированию и метрологии
3 ПРИНЯТ Межгосударственным советом по стандартизации, метрологии и сертификации по переписке (протокол от 19 мая 2013 г. N 56-П)
За принятие проголосовали:
Краткое наименование страны по МК (ИСО 3166) 004-97 | Код страны по | Сокращенное наименование национального органа по стандартизации |
Азербайджан | AZ | Азстандарт |
Беларусь | BY | Госстандарт Республики Беларусь |
Казахстан | KZ | Госстандарт Республики Казахстан |
Киргизия | KG | Кыргызстандарт |
Россия | RU | Росстандарт |
Таджикистан | TJ | Таджикстандарт |
Узбекистан | UZ | Узстандарт |
4 Приказом Федерального агентства по техническому регулированию и метрологии от 22 ноября 2013 г. N 1941-ст межгосударственный стандарт ГОСТ ISO/IEC 17043-2013 введен в действие в качестве национального стандарта Российской Федерации с 1 марта 2015 г.
5 Настоящий стандарт идентичен международному стандарту ISO/IEC 17043:2010 "Оценка соответствия. Основные требования к проведению проверки квалификации" ("Conformity assessment - General requirements for proficiency testing", IDT).
________________
* Доступ к международным и зарубежным документам, упомянутым в тексте, можно получить, обратившись в Службу поддержки пользователей. - .
Международный стандарт разработан Комитетом по оценке соответствия (CASCO) Международной организации по стандартизации (ISO).
При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных стандартов соответствующие им межгосударственные стандарты, сведения о которых приведены в дополнительном приложении ДА
6 ВВЕДЕН ВПЕРВЫЕ
7 ПЕРЕИЗДАНИЕ. Май 2020 г.
Информация о введении в действие (прекращении действия) настоящего стандарта и изменений к нему на территории указанных выше государств публикуется в указателях национальных стандартов, издаваемых в этих государствах, а также в сети Интернет на сайтах соответствующих национальных органов по стандартизации.
В случае пересмотра, изменения или отмены настоящего стандарта соответствующая информация будет опубликована на официальном интернет-сайте Межгосударственного совета по стандартизации, метрологии и сертификации в каталоге "Межгосударственные стандарты"
Введение
Межлабораторные сличения широко используются для ряда задач и находят все большее применение на международном уровне. Типичными задачами межлабораторных сличений являются:
a) оценивание характеристик функционирования лабораторий по проведению определенных испытаний или выполнению измерений и постоянный мониторинг за ними;
b) выявление проблем в лабораториях, связанных, например, с применением неправильных процедур измерений или испытаний, недостаточной эффективностью обучения и управления персоналом или некорректной калибровкой оборудования, и их устранение;
c) установление эффективности и сравнимости методов испытаний или измерений;
d) обеспечение дополнительного доверия у заказчиков лаборатории;
e) выявление различий между лабораториями;
f) обучение участвующих лабораторий, основанное на результатах сличений;
g) подтверждение заявленной неопределенности;
h) оценивание характеристик метода (часто описываемое как совместные испытания);
i) приписывание значений стандартным образцам и оценивание их пригодности для использования в определенных процедурах измерений или испытаний;
j) поддержка в установлении эквивалентности измерений, выполняемых национальными метрологическими институтами, через ключевые сличения и дополнительные сличения, проводимые от имени Международного бюро мер и весов (BIPM), и взаимодействующими с ними региональными метрологическими организациями.
Проверка квалификации включает использование межлабораторных сличений для определения характеристики функционирования, как приведено в перечислениях a)-g). Проверка квалификации обычно не относится к перечислениям h), i) и j), так как в этих случаях уже предполагается наличие лабораторной компетенции, но эти применения могут быть использованы для обеспечения независимых демонстраций лабораторной компетенции. Требования настоящего стандарта могут применяться ко многим аспектам технического планирования и практических действий для перечислений h), i) и j).
Необходимость в постоянном доверии к качеству работы лаборатории важна не только для лабораторий и их заказчиков, но также и для других заинтересованных сторон, таких как инспектирующие организации, органы по аккредитации лабораторий и другие организации, которые устанавливают требования к лабораториям. ISO/IEC 17011 предъявляет к органам по аккредитации требование принимать во внимание участие лабораторий в проверке квалификации и полученные при такой проверке характеристики функционирования. Растет необходимость в проверке квалификации для других видов деятельности по оценке соответствия, таких как инспектирование (инспекционный контроль) или сертификация продукции. Большинство требований настоящего стандарта применимо к таким развивающимся областям, которые главным образом касаются управления, планирования и разработки, персонала, обеспечения качества, конфиденциальности и других соответствующих аспектов.
Настоящий стандарт разработан для обеспечения всех заинтересованных сторон согласованной основой по установлению компетентности организаций, предоставляющих услуги по проведению проверки квалификации. Он разработан так, что заменяет обе части ISO/IEC Guide 43. ISO/IEC Guide 43 включало не только руководство по разработке и выполнению проверки квалификации, выбору и использованию проверки квалификации органами по аккредитации лабораторий, но также полезные описания основных типов проверок квалификации. Этот международный стандарт сохранил и усовершенствовал принципы по реализации проверок квалификации, описанные в ISO/IEC Guide 43, и сохранил в приложениях A-C информацию об основных типах программ проверки квалификации, руководящие указания по соответствующим статистическим методам, выбору и применению программ проверки квалификации лабораториями, органами по аккредитации, инспектирующими органами и другими заинтересованными сторонами.
1 Область применения
В настоящем стандарте устанавливаются общие требования к компетентности провайдеров программ проверки квалификации, а также к разработке и реализации программ проверки квалификации. Данные требования должны рассматриваться как общие для всех типов программ проверки квалификации и могут использоваться в качестве основы для разработки конкретных технических требований в частных областях применения.
2 Нормативные ссылки
В настоящем стандарте использованы нормативные ссылки на следующие стандарты. Для датированных ссылок применяют только указанное издание ссылочного стандарта, для недатированных - последнее издание (включая все изменения).
ISO/IEC 17000:2004, Conformity assessment - Vocabulary and general principles (Оценка соответствия. Словарь и общие принципы)
ISO/IEC Guide 99:2007, International vocabulary of metrology - Basic and general concepts and associated terms (VIM) [Международный словарь по метрологии. Основные и общие понятия и соответствующие термины (VIM)]
3 Термины и определения
В настоящем стандарте применяют термины и определения, установленные в ISO/IEC 17000:2004, ISO/IEC Guide 99:2007, а также следующие термины с соответствующими определениями:
3.1 приписанное значение (assigned value): Значение, приписываемое конкретному свойству образца для проверки квалификации.
3.2 координатор (coordinator): Одно или несколько лиц, осуществляющих организацию и управление всеми видами деятельности, связанными с реализацией программы проверки квалификации.
3.3 заказчик (customer): Организация или физическое лицо, для которого программа проверки квалификации предоставляется на договорной основе.
3.4 межлабораторное сличение
____________
3.5 выброс (outlier): Наблюдение в совокупности данных, которое признано несовместимым с остальными членами совокупности.
Примечание - Выброс может принадлежать другой совокупности данных, им может оказаться некорректная запись или иная значительная ошибка.
3.6 участник (participant): Лаборатория, организация или физическое лицо, которые получают образец для проверки квалификации и представляют результаты на рассмотрение провайдеру проверки квалификации.
Примечание - В некоторых случаях участником может являться инспекционный орган.
3.7 проверка квалификации (proficiency testing): Оценивание характеристики функционирования участника по заранее установленным критериям посредством межлабораторных сличений.
Примечание 1 - В контексте настоящего стандарта термин "проверка квалификации" рассматривается в его широком понимании и включает, но не ограничивается следующим:
a) количественная программа - когда целью является получение количественной оценки одной или более измеряемых величин образца для проверки квалификации;
b) качественная программа - когда целью является идентификация или описание одной или нескольких характеристик образца для проверки квалификации;
c) последовательная программа - когда один или несколько образцов для проверки квалификации распределяются последовательно для испытаний или измерений и возвращаются провайдеру проверки квалификации через определенные интервалы;
d) параллельная программа - когда образцы для проверки квалификации распределяются для выполнения одновременных испытаний или измерений в течение определенного периода времени;
e) единоразовое задание - когда образцы для проверки квалификации возможно предоставить только один раз;
f) непрерывная программа - когда образцы для проверки квалификации предоставляются через регулярные интервалы времени;
g) отбор проб - когда берутся пробы для последующего анализа;
h) обработка и интерпретация данных - когда предоставляются наборы данных или другая информация для обработки с целью интерпретации (или получения иного результата).
Примечание 2 - Некоторые провайдеры проверки квалификации в области медицины для своих программ проверки квалификации, или в отношении своих более масштабных программ, или и того и другого используют термин "внешняя оценка качества (EQA)" (см. приложение A). Требования настоящего стандарта относятся только к тем EQA, которые отвечают определению проверки квалификации.
3.8 образец для проверки квалификации (proficiency test item): Проба, продукт, искусственный объект (артефакт), стандартный образец, часть оборудования, эталон, набор данных или другая информация, используемые для проверки квалификации.
3.9 провайдер проверки квалификации (proficiency testing provider): Организация, которая несет ответственность за все задачи по разработке и выполнению программы проверки квалификации.
3.10 тур
________________
3.11 программа проверки квалификации (proficiency testing scheme): Проверка квалификации, разработанная и реализованная за один или несколько туров в определенной области испытаний, измерений, калибровки или контроля.
Примечание - Программа проверки квалификации может охватывать конкретный вид испытаний, калибровки, контроля или ряд испытаний, калибровок или контрольных операций на образцах для проверки квалификации.
3.12 робастный статистический метод (robust statistical method): Статистический метод, нечувствительный к небольшим отклонениям от допущений, принятых за основу в предполагаемой вероятностной модели.
3.13 стандартное отклонение для оценки квалификации (standard deviation for proficiency assessment): Мера рассеяния, используемая при оценивании результатов проверки квалификации и основанная на имеющейся информации.
Примечание 1 - Стандартное отклонение применяется только к результатам, полученным по шкале разности или шкале отношений.
Примечание 2 - Не во всех программах проверки квалификации оценивают квалификацию, основываясь на рассеянии результатов.
3.14 субподрядчик (subcontractor): Организация или физическое лицо, привлекаемые провайдером проверки квалификации для выполнения работ, установленных в настоящем стандарте, которые влияют на качество выполнения программы проверки квалификации.
Примечание - Под термином "субподрядчик" многие провайдеры проверки квалификации понимают также соисполнителей.
3.15 метрологическая прослеживаемость (metrological traceability): Свойство результата измерения, в соответствии с которым результат может быть связан с основой для сравнения через документированную непрерывную цепь калибровок, каждая из которых вносит вклад в неопределенность измерений.
Примечание 1 - Для этого определения "основой для сравнения" может быть определение единицы измерения через ее практическую реализацию или методика измерений, включающая единицу измерения для величин, отличных от порядковых, или эталон.
Примечание 2 - Метрологическая прослеживаемость требует наличия установленной калибровочной иерархии.
Примечание 3 - Описание основы для сравнения должно включать время, в которое она была использована в данной калибровочной иерархии, вместе с любой другой существенной метрологической информацией относительно основы для сравнения, например о том, когда была выполнена первая калибровка в калибровочной иерархии.
Примечание 4 - Для измерений с более чем одной входной величиной в модели измерения каждое из значений величин, входящих в модель, должно само быть метрологически прослеживаемо и калибровочная иерархия может иметь форму разветвленной структуры или сети. Усилия, связанные с установлением метрологической прослеживаемости для каждого значения входной величины, должны быть соизмеримы с ее относительным вкладом в результат измерения.
Примечание 5 - Метрологическая прослеживаемость результата измерения не гарантирует, что неопределенность измерений соответствует заданной цели или что отсутствуют ошибки.
Примечание 6 - Сличение между двумя эталонами может рассматриваться как калибровка, если это сличение используется для проверки и при необходимости для корректировки значения величины и неопределенности измерений, приписываемых одному из эталонов.
Примечание 7 - ILAC рассматривает следующие элементы для подтверждения метрологической прослеживаемости: неразрывная цепь метрологической прослеживаемости к международным эталонам или национальным эталонам, документированная неопределенность измерений, документированная методика измерений, аккредитация на техническую компетентность, метрологическая прослеживаемость к Международной системе единиц (СИ) и интервалы между калибровками (см. ILAC P10:01/2013).
Примечание 8 - Сокращенный термин "прослеживаемость" иногда используют для обозначения "метрологической прослеживаемости", а также и для других понятий, таких как "прослеживаемость образца", "прослеживаемость документа", "прослеживаемость прибора", "прослеживаемость материала", где частью слова является корень "слеж" от слова "след". Вследствие этого предпочтительнее использовать полный термин "метрологическая прослеживаемость", если существует какой-нибудь риск путаницы.
[ISO/IEC Guide 99:2007, определение 2.41]
3.16 неопределенность измерений (measurement uncertainty, uncertainty of measurement): Неотрицательный параметр, характеризующий рассеяние значений величины, которые приписываются измеряемой величине на основании используемой информации.
Примечание 1 - Неопределенность измерений включает составляющие, обусловленные систематическими эффектами, в том числе составляющие, связанные с поправками и приписанными значениями эталонов, а также дефинициальную неопределенность. Иногда поправки на оцененные систематические эффекты не вводят, а вместо этого последние рассматривают как составляющие неопределенности измерений.
Примечание 2 - Параметром может быть, например, стандартное (среднее квадратическое) отклонение, называемое стандартной неопределенностью измерений (или кратное ему число), или половина ширины интервала с установленной вероятностью охвата.
Примечание 3 - В общем случае неопределенность измерений включает в себя много составляющих. Некоторые из этих составляющих могут быть оценены по типу A оценивания неопределенности измерений на основании статистического распределения значений величины из серий измерений и могут характеризоваться стандартными отклонениями. Другие составляющие, которые могут быть оценены по типу В оценивания неопределенности измерения, также могут характеризоваться стандартными отклонениями, оцениваемыми через функции плотности вероятностей на основании опыта или другой информации.
Примечание 4 - В целом при данном объеме информации подразумевается, что неопределенность измерений связывают с определенным значением, приписываемым измеряемой величине. Изменение этого значения приводит к изменению связанной с ним неопределенности.
[ISO/IEC Guide 99:2007, определение 2.26]
4 Технические требования
4.1 Общие требования
Разработка и реализация программ проверки квалификации должны проводиться провайдерами проверки квалификации, которые компетентны в проведении межлабораторных сличений и имеют возможность получения экспертной оценки при использовании определенных типов образцов для проверки квалификации. Провайдеры проверки квалификации или их субподрядчики также должны быть компетентны в измерении определяемых свойств.
Примечание - ISO/IEC 17025 или ISO 15189 могут использоваться для демонстрации компетентности лаборатории провайдера проверки квалификации или лаборатории, привлекаемой по субподряду для выполнения испытаний или измерений, относящихся к программам проверки квалификации. ISO Guide 34 может быть использован для демонстрации компетентности изготовителей стандартных образцов, которые предоставляют образцы для проверки квалификации.
4.2 Персонал
4.2.1 Провайдер проверки квалификации должен располагать управляющим и техническим персоналом, имеющим необходимые полномочия, ресурсы, и быть технически компетентным для выполнения своих обязанностей.
4.2.2 Руководство провайдера проверки квалификации должно определить минимальный уровень квалификации и опыта работы, необходимый для исполнения обязанностей по ключевым должностям в организации, и обеспечить соответствие данной квалификации.
4.2.3 Провайдер проверки квалификации должен располагать персоналом, работающим у него как на постоянной основе, так и на договорных условиях. Когда используется нанятый по договору или дополнительный технический и вспомогательный персонал по ключевым должностям, провайдер проверки квалификации должен гарантировать, что такой персонал находится под контролем, что он компетентен и выполняет работу в соответствии с системой менеджмента.
Примечание - Когда технические эксперты привлекаются единовременно или для работы в консультативных группах или группах ведущих специалистов (см. 4.4.1.4), то для выполнения требований данного пункта достаточно иметь официальные соглашения, например в виде круга полномочий группы, или использовать другие способы.
4.2.4 Провайдер проверки квалификации должен наделить соответствующий персонал полномочиями, позволяющими:
a) выбрать подходящий образец для проверки квалификации;
b) планировать программы проверки квалификации;
c) выполнять определенные виды отбора проб;
d) работать со специальным оборудованием;
e) выполнять измерения с целью определения стабильности и однородности, а также приписанных значений и соответствующих неопределенностей измеряемых величин образца для проверки квалификации;
f) подготавливать, обращаться и распределять образцы для проверки квалификации;
g) использовать систему обработки данных;
h) проводить статистический анализ;
i) оценивать характеристики функционирования участников проверки квалификации;
j) высказывать мнения и толкования;
k) обеспечивать публикацию отчетов о проверке квалификации.
4.2.5 Провайдер проверки квалификации должен поддерживать в актуализированном состоянии документы о соответствующих полномочиях, компетентности, образовании и профессиональной подготовке, обучении, навыках и опыте всего технического персонала, включая работников, нанятых по контракту. Данная информация должна быть легкодоступна и включать дату, когда была выполнена оценка, и подтверждение возможности выполнения этим персоналом установленных работ.
4.2.6 Провайдер проверки квалификации должен сформулировать цели в отношении образования, обучения и квалификации для каждого сотрудника, участвующего в выполнении программы проверки квалификации. Провайдер проверки квалификации должен иметь политику и процедуры для определения потребности в обучении и для проведения обучения персонала. Программа обучения должна отвечать текущим и предполагаемым потребностям провайдера проверки квалификации.
Примечание - Рекомендуется рассмотреть потребность в периодической переподготовке персонала. Процедура по обучению персонала может учитывать тенденции развития технологий, необходимость подтверждения имеющейся компетентности и направлена на постоянное повышение квалификации персонала.
4.2.7 Провайдер проверки квалификации должен обеспечить необходимое обучение персонала, чтобы гарантировать компетентное проведение работ, таких как выполнение измерений, эксплуатация оборудования и других работ, которые влияют на качество программы проверки квалификации. Эффективность обучения должна оцениваться.
Примечание - Для оценки достигнутого уровня компетенции могут быть использованы объективные критерии.
4.3 Оборудование, размещение и окружающая среда
4.3.1 Провайдер проверки квалификации должен обеспечить наличие соответствующих условий для реализации программы проверки квалификации. Данное требование включает наличие производственных помещений и оборудования для изготовления, калибровки, испытаний, обращения и рассылки образцов для проверки квалификации, для обработки данных, передачи информации, а также получения материалов и документов.
4.3.2 Провайдер проверки квалификации должен гарантировать, что условия окружающей среды не оказывают негативного влияния на программу проверки квалификации или требуемое качество выполняемых работ. Особое внимание следует уделить работам, которые выполняются за пределами постоянных производственных площадей провайдера проверки квалификации или субподрядными организациями. Технические требования к месту проведения работ и условиям окружающей среды, которые могут оказать влияние на проверку квалификации, должны быть документированы.
4.3.3 Доступ к месту проведения работ и использование площадей, которые могут оказать влияние на качество программ проверки квалификации, должны контролироваться. Провайдер проверки квалификации должен определить степень контроля, исходя из определенных им условий.
4.3.4 Провайдер проверки квалификации должен определить условия окружающей среды, которые могут существенно повлиять на качество образцов для проверки квалификации и любые проводимые испытания и калибровки, включая условия, задаваемые соответствующими техническими требованиями и методиками выполнения измерений. Провайдер проверки квалификации должен контролировать и осуществлять мониторинг этих условий, а также регистрировать все действия, относящиеся к мониторингу. Работы, имеющие отношение к проверке квалификации, должны быть прекращены, когда условия окружающей среды ставят под угрозу качество или выполнение программы проверки квалификации.
Примечание - Условия могут включать, например, биологическую стерильность, запыленность, электромагнитные поля, радиацию, влажность, электроснабжение, температуру, уровни звука и вибрации, характерные для того или иного вида технических работ.
4.3.5 Должно быть установлено эффективное разделение соседних производственных площадей, на которых осуществляются несовместимые виды работ. Должны быть приняты меры по предотвращению перекрестного загрязнения.
4.3.6 Провайдер проверки квалификации должен обеспечить соответствующее подтверждение пригодности и поддержание рабочих характеристик лабораторных методов и оборудования, используемых для подтверждения состава, однородности и стабильности образцов для проверки квалификации.
4.4 Разработка программ проверки квалификации
4.4.1 Планирование
4.4.1.1 Провайдер проверки квалификации должен идентифицировать и планировать процессы, которые непосредственно влияют на качество программы проверки квалификации, а также обеспечить выполнение этих процессов в соответствии с установленными процедурами.
Примечание - Интересы заинтересованных сторон могут учитываться при разработке плана и других рабочих материалов.
4.4.1.2 Провайдер проверки квалификации не должен выполнять планирование программы проверки квалификации по договору субподряда (см. 5.5.2).
Примечание - Провайдер проверки квалификации может пользоваться консультациями и помощью любых консультантов, экспертов или групп ведущих специалистов (см. 4.4.1.4).
4.4.1.3 Перед началом выполнения работ по программе проверки квалификации провайдер проверки квалификации должен документировать план, который оговаривает цели, задачи и базовый проект программы проверки квалификации, включая нижеприведенную информацию и при необходимости пояснения по ее выбору или исключению:
a) наименование и адрес провайдера проверки квалификации;
b) имя, фамилия, адрес и место работы координатора и другого персонала, привлекаемого к разработке и выполнению программы проверки квалификации;
c) работы, выполняемые по договору субподряда, с указанием наименований и адресов субподрядчиков, привлекаемых к реализации программы проверки квалификации;
d) критерии, по которым производится выбор участников;
e) количество и тип предполагаемых участников программы проверки квалификации;
f) выбор представляющих интерес измеряемых величин(ы) или характеристик(и), включая информацию о том, что должны определить, измерить или испытать участники в рамках определенного тура проверки квалификации;
g) описание диапазона значений, или характеристик, или и того и другого, которые ожидаются для образцов для проверки квалификации;
h) потенциальные основные источники ошибок, возникающих при выполнении проверки квалификации в определенной области;
i) требования к изготовлению, контролю качества, хранению и распределению образцов для проверки квалификации;
j) приемлемые меры предосторожности по предотвращению сговора между участниками или фальсификации результатов и процедуры по реагированию в случае подозрений в сговоре и фальсификации;
k) описание информации, которая должна быть предоставлена участникам, и календарный план для различных этапов программы проверки квалификации;
l) периодичность или дата передачи участникам образцов для проверки квалификации, последний срок предоставления участниками результатов и в случае необходимости дата выполнения участниками испытаний или измерений;
m) любая информация о методах или процедурах, которая требуется участникам для подготовки испытуемого материала и выполнения испытаний или измерений;
n) процедуры для испытаний или методы измерений, с помощью которых можно проверить однородность и стабильность образцов для проверки квалификации и в необходимых случаях их биологическую жизнеспособность;
o) подготовка любых стандартизованных форм отчетов для использования участниками;
p) подробное описание используемого метода статистического анализа;
q) происхождение, метрологическая прослеживаемость и неопределенность измерений приписанных значений;
r) критерии для оценивания характеристик функционирования;
s) описание данных, промежуточные отчеты или информация, которая должна быть направлена участникам;
t) степень гласности результатов, полученных участниками, и заключений, основанных на итогах программы проверки квалификации;
u) действия, которые должны быть предприняты в случае утери или повреждения образцов для проверки квалификации.
4.4.1.4 Провайдер проверки квалификации должен иметь доступ к необходимой технической экспертизе и накопленным знаниям в соответствующей области испытаний, калибровки, отбора проб или контроля, а также в области статистики. Данный вопрос решается, если необходимо, созданием консультативной группы (названной соответствующим образом).
4.4.1.5 Техническая экспертиза должна применяться, если необходимо, для разрешения нижеследующих вопросов:
a) планирование в соответствии с требованиями, приведенными в 4.4.1.3;
b) определение и решение любых трудностей, ожидаемых при подготовке и поддержании однородности образцов для проверки квалификации или при предоставлении стабильного приписанного значения для образца для проверки квалификации;
c) подготовка подробных инструкций для участников;
d) комментарии по любым техническим трудностям или другим вопросам, поднятым участниками в предыдущих турах проверки квалификации;
e) предоставление рекомендаций при оценивании характеристик функционирования лабораторий;
f) комментарии по результатам и характеристике функционирования участников в целом и при необходимости групп участников или отдельных участников;
g) предоставление рекомендаций для участников (с учетом требований конфиденциальности) или индивидуально, или и в общем отчете;
h) реагирование на отзывы участников;
i) планирование или участие в технических совещаниях с участниками.
4.4.2 Подготовка образцов для проверки квалификации
4.4.2.1 Провайдер проверки квалификации должен устанавливать и выполнять процедуры для обеспечения подготовки образцов для проверки квалификации в соответствии с планом, описанным в 4.4.1.
Примечание - Рекомендуется, чтобы провайдер проверки квалификации должным образом предусмотрел подготовку достаточного количества образцов для проверки квалификации с целью возможности замены образцов для проверки квалификации, утерянных или поврежденных при распределении, а также их использования после того, как результаты программы проверки квалификации будут оценены. Такие образцы могут быть использованы для целей обучения участников или в качестве стандартных образцов.
4.4.2.2 Провайдер проверки квалификации должен устанавливать и выполнять процедуры для обеспечения соответствующего приобретения, сбора, подготовки, обращения, хранения и в необходимых случаях утилизации всех образцов для проверки квалификации. Процедуры должны гарантировать, что материалы, используемые при производстве образцов для проверки квалификации, получены в соответствии с требованиями законодательства и с соблюдением норм этики.
4.4.2.3 Матрица, измеряемые величины и концентрации образцов для проверки квалификации должны максимально соответствовать типам образцов или материалов, с которыми участники работают при повседневных испытаниях и калибровках.
4.4.2.4 В программах проверки квалификации, которые требуют от участников подготовки и/или дополнительных действий с образцами для проверки квалификации и представления их на рассмотрение провайдеру проверки квалификации, последний должен разработать инструкции по подготовке, упаковке и транспортировке образцов для проверки квалификации.
4.4.3 Однородность и стабильность
4.4.3.1 Следует установить критерии для приемлемой однородности и стабильности, которые должны быть основаны на влиянии неоднородности и нестабильности на характеристики функционирования участников.
Примечание 1 - Требования данного пункта должны обеспечить получение каждым участником сопоставимых образцов для проверки квалификации и сохранение стабильности образцов на протяжении всего времени выполнения проверки квалификации. Для выполнения данного требования следует осуществлять тщательное планирование, изготовление и транспортировку, а для его подтверждения обычно требуются испытания.
Примечание 2 - В некоторых случаях для образцов для проверки квалификации невозможно проведение испытаний, подтверждающих их однородность и стабильность. Такие случаи характерны, например, при подготовке образцов при ограниченном количестве исходного материала.
Примечание 3 - В некоторых случаях материалы, не имеющие достаточной однородности или стабильности, являются наиболее доступными. В этом случае они могут быть использованы в качестве образцов для проверки квалификации с условием, что при расчете неопределенности приписанных значений или оценивании результатов это обстоятельство учитывается соответствующим образом (см. B.3.1.3 и ISO 13528:2005, приложение B).
Примечание 4 - Рассмотрение однородности и стабильности более подробно описано в ISO Guide 34, ISO Guide 35 и ISO 13528.
4.4.3.2 Процедуры для оценки однородности и стабильности должны быть документированы и должны выполняться, когда применимо, согласно соответствующим статистическим расчетам. По возможности провайдер проверки квалификации должен использовать статистически случайную выборку представительного количества образцов для проверки квалификации из всей партии испытуемого материала, с тем чтобы оценить его однородность.
Примечание - В некоторых случаях наиболее приемлемым является использование случайной разноуровневой или систематической выборки образцов для проверки квалификации из всей партии.
4.4.3.3 Оценка однородности должна выполняться после упаковывания образцов для проверки квалификации в их окончательном виде и перед распределением между участниками, если только, например, исследования стабильности материала не указывают на необходимость хранения образцов в общей массе.
Примечание 1 - Однородность может быть продемонстрирована до упаковывания, если доказано, что упаковка не оказывает никакого влияния.
Примечание 2 - В некоторых ситуациях проверка однородности не может быть проведена до распределения между участниками по практическим, техническим или логистическим причинам.
4.4.3.4 Должна быть продемонстрирована достаточная стабильность образцов для проверки квалификации, чтобы гарантировать, что они не будут подвергаться никаким значительным изменениям на протяжении всего времени выполнения проверки квалификации, включая условия хранения и транспортировки. Если это невозможно, то стабильность должна быть количественно оценена и рассматриваться как дополнительный вклад в неопределенность измерения, связанную с приписанным значением образца для проверки квалификации, и/или учитываться критерием, используемым для оценки.
4.4.3.5 Если образцы для проверки квалификации, подготовленные для предыдущих туров, сохраняются для дальнейшего использования, то значения показателей, предназначенных для определения в программе проверки квалификации, должны подтверждаться провайдером проверки квалификации до распределения образцов.
4.4.3.6 В случаях, когда испытания на однородность и стабильность неприменимы, провайдер проверки квалификации должен продемонстрировать достаточность для цели проверки квалификации процедур, используемых для сбора, изготовления, упаковки и распределения образцов для проверки квалификации.
4.4.4 Методы статистического расчета
4.4.4.1 Следует разработать методы статистических расчетов, отвечающие целям программы и основанные на виде данных (качественные или количественные, включая порядковые и категорийные данные), статистических допущениях, природе ошибок и на ожидаемом количестве результатов (см. B.3.2.2).
Примечание 1 - Метод статистического расчета охватывает процессы планирования, сбора, анализа и отчетности для данных программы проверки квалификации. Методы статистических расчетов часто основываются на установленных для программы проверки квалификации целях, таких как выявление основных типов ошибок с заданной мощностью критерия или определение приписанных значений с заданной неопределенностью измерений.
Примечание 2 - Методы анализа данных могут варьироваться от очень простых (например, описательные статистики) до комплексных, включающих статистические модели с вероятностными допущениями или комбинациями результатов в отношении различных образцов для проверки квалификации.
Примечание 3 - В случаях, когда разработка программы проверки квалификации предписывается техническим заданием, полученным, например, от заказчика, распорядительного органа или органа по аккредитации, методы статистического расчета и анализа данных могут быть взяты прямо из технического задания.
Примечание 4 - При отсутствии достоверной информации, необходимой для разработки метода статистического расчета, могут быть использованы предварительные межлабораторные сличения.
4.4.4.2 Провайдер проверки квалификации должен документировать методы статистического расчета и анализа данных, которые будут использованы для определения приписанного значения и оценки результатов участников, и должен предоставить описание причин для их выбора и предположений, на которых они основаны. Провайдер проверки квалификации должен быть в состоянии продемонстрировать, что статистические допущения обоснованы и что статистические анализы выполняются в соответствии с установленными процедурами.
4.4.4.3 При разработке методов статистического расчета и анализа данных провайдер проверки квалификации должен тщательно рассмотреть следующие вопросы:
a) точность (правильность и прецизионность) и неопределенность измерений, требуемые или предполагаемые для каждой измеряемой величины или характеристики при проверке квалификации;
b) минимальное количество участников в программе проверки квалификации, необходимое для достижения целей статистического расчета; в случаях, когда количество участников недостаточно, чтобы достичь этих целей или чтобы произвести статистически достоверный анализ результатов, провайдер проверки квалификации должен документировать и предоставлять участникам подробное описание альтернативных подходов, используемых для оценки характеристик функционирования участников;
c) существенность значащих цифр в сообщаемом результате, включая количество десятичных знаков;
d) количество образцов для проверки квалификации, подвергаемых испытаниям или измерениям, количество повторных испытаний, калибровок или измерений, проводимых на каждом образце для проверки квалификации или для каждого определения;
e) процедуры, используемые для установления стандартного отклонения для оценки квалификации или другой критерий оценки;
f) процедуры, используемые для определения выбросов, или процедуры, используемые для обращения с выбросами, или и те и другие процедуры;
g) когда важно, процедуры для оценивания значений, исключенных из статистического анализа;
h) где необходимо, цели методов статистического расчета и периодичности проведения туров проверки квалификации.
4.4.5 Приписанные значения
4.4.5.1 Провайдер проверки квалификации должен документировать процедуры для определения приписанных значений измеряемых величин или характеристик в конкретной программе проверки квалификации. Эта процедура должна принимать во внимание метрологическую прослеживаемость и неопределенность измерений, необходимые для демонстрации того, что программа проверки квалификации соответствует своим целям.
Примечание - Метрологическая прослеживаемость не всегда возможна или уместна.
4.4.5.2 Программы проверки квалификации в области калибровки должны иметь приписанные значения с метрологической прослеживаемостью, включающей неопределенность измерений.
4.4.5.3 Для программ проверки квалификации в областях, отличных от калибровки, важность, необходимость и выполнимость требований метрологической прослеживаемости приписанного значения и связанной с ним неопределенности измерений должны быть определены посредством принятия во внимание определенных требований участников или других заинтересованных сторон или при разработке программы проверки квалификации.
Примечание - Цепочка требуемой метрологической прослеживаемости может отличаться в зависимости от типа образца для проверки квалификации, измеряемой величины или характеристики и наличия прослеживаемых калибровок и стандартных образцов.
4.4.5.4 Когда в качестве приписанного значения используется согласованное значение (см. приложение B), провайдер проверки квалификации должен документировать причины для такого выбора и должен оценить неопределенность приписанного значения способом, описанным в плане для программы проверки квалификации.
4.4.5.5 Провайдер проверки квалификации должен иметь политику, регламентирующую вопрос разглашения приписанных значений. Политика должна гарантировать, что участники не могут получать преимущество от преждевременного разглашения.
4.5 Выбор метода или методики
4.5.1 От участников обычно следует ожидать, что они будут использовать по своему выбору метод испытаний, методику измерений или калибровки, не противоречащие их повседневным процедурам. Провайдер проверки квалификации может дать указания участникам использовать определенный метод в соответствии с проектом программы проверки квалификации.
4.5.2 Когда участникам разрешается использовать метод по их выбору, провайдер проверки квалификации должен:
a) располагать политикой и следовать процедуре, касающейся сличений результатов, полученных разными методами испытаний или измерений;
b) быть осведомлен о том, какие разные методы испытаний или измерений любой измеряемой величины являются технически эквивалентными, и предпринимать шаги для соответствующей оценки результатов участников, использующих такие методы.
4.6 Реализация программ проверки квалификации
4.6.1 Инструкции для участников
4.6.1.1 Провайдер проверки квалификации должен достаточно заблаговременно до рассылки образцов для проверки квалификации направить участникам уведомление, содержащее ориентировочную дату получения образцов для проверки квалификации или их отправки, если только проект программы проверки квалификации не рассматривает такие действия как неуместные.
4.6.1.2 Провайдер проверки квалификации должен предоставить детально документированные инструкции всем участникам. Инструкции для участников должны включать:
a) указание о необходимости обращаться с образцами для проверки квалификации тем же самым способом, как с большинством повседневно испытываемых образцов (если только не указаны особые требования программы проверки квалификации, которые требуют отклонения от этого принципа);
b) подробное описание факторов, которые могут повлиять на испытание или калибровку образцов для проверки квалификации, например природа образцов для проверки квалификации, условия хранения, ограничена ли программа проверки квалификации выбором методов испытаний, временной график испытаний или измерений;
c) детальную процедуру подготовки и/или поддержания образцов для проверки квалификации в необходимом состоянии до начала выполнения испытаний или калибровок;
d) любые применимые инструкции по обращению с образцами для проверки квалификации, включая любые требования безопасности;
e) любые специфические условия окружающей среды, которые должны соблюдаться участниками при выполнении испытаний и/или калибровок, и если необходимо, любые требования, касающиеся отчетности о соответствующих условиях окружающей среды, регистрируемых в процессе выполнения всех измерений;
f) специфические и подробные инструкции по способу регистрации и составлению отчетов по результатам испытаний или измерений и связанных с ними неопределенностей. Если инструкции включают в себя способ составления отчетов о неопределенности сообщаемых результатов или измерений, то форма такого отчета должна включать коэффициент охвата и, когда выполнимо, вероятность охвата.
Примечание - Такая инструкция обычно включает в себя информацию, такую как единицы измерений, количество значащих цифр или десятичных знаков и правила составления отчета (например, при сухой массе или "как получено");
g) конечную дату для получения провайдером результатов испытаний или измерений, полученных при проведении проверки квалификации, для анализа;
h) подробную контактную информацию провайдера проверки квалификации для запросов;
i) инструкции по возврату образцов для проверки квалификации, если приемлемо.
4.6.2 Обращение с образцами для проверки квалификации и их хранение
4.6.2.1 Провайдер проверки квалификации должен гарантировать, что образцы для проверки квалификации надлежащим образом идентифицированы и изолированы и что они не могут стать загрязненными или испорченными, начиная с момента их подготовки и до момента их распределения участникам.
4.6.2.2 Провайдер проверки квалификации должен иметь надежные складские участки и/или складские помещения, которые предотвращают разрушение или порчу любого образца для проверки квалификации в промежутке времени между его подготовкой и распределением участникам. Должны быть определены соответствующие процедуры для разрешения отправки на такие участки или получения образцов из них.
4.6.2.3 В случае необходимости состояние хранящихся на участке или на складе образцов для проверки квалификации, химикатов и материалов должно оцениваться через определенные промежутки времени в течение их срока годности, для того чтобы обнаружить возможную порчу.
4.6.2.4 При использовании потенциально опасных образцов для проверки квалификации, химикатов и материалов должны иметься средства для безопасного обращения с ними, дезинфекции (обеззараживания) и уничтожения.
4.6.3 Упаковка, маркировка и распределение образцов для проверки квалификации
4.6.3.1 Провайдер проверки квалификации должен контролировать процессы упаковки и маркировки в объеме, необходимом для выполнения требований соответствующих национальных, региональных или международных требований безопасности и транспортировки.
Примечание - Правильное распределение образцов для проверки квалификации может представлять серьезные проблемы для некоторых типов материалов, например таких, которые требуют непрерывного хранения в холоде или которые должны быть защищены от рентгеновского излучения, ударов и вибрации. Большинство химических материалов лучше хранить в воздухонепроницаемой упаковке во избежание загрязнений из атмосферы, например паров топлива или выхлопных газов машин, с которыми можно столкнуться во время транспортирования.
4.6.3.2 Провайдер проверки квалификации должен определить соответствующие условия окружающей среды при транспортировании образцов для проверки квалификации. В необходимых случаях провайдер проверки квалификации должен контролировать необходимые условия окружающей среды во время транспортирования образца для проверки квалификации и оценивать воздействие влияний окружающей среды на него.
4.6.3.3 В программах проверки квалификации, предполагающих транспортировку образцов для проверки квалификации самими участниками, провайдером должны поставляться документированные инструкции для такой транспортировки.
4.6.3.4 Провайдер проверки квалификации должен гарантировать, что этикетки крепко крепятся к упаковкам отдельных образцов для проверки квалификации и остаются четкими и неповрежденными на всем протяжении выполнения тура проверки квалификации.
4.6.3.5 Провайдер проверки квалификации должен использовать процедуру, позволяющую обеспечить подтверждение доставки образцов для проверки квалификации.
Примечание - Данное требование выполняется в соответствии с 4.6.1.1 посредством обращения к участникам с просьбой информировать провайдера проверки квалификации, если образец для проверки квалификации не был получен в срок в соответствии с утвержденным графиком.
4.7 Анализ данных и оценивание результатов программы проверки квалификации
4.7.1 Анализ данных и записи
4.7.1.1 Все оборудование для обработки данных и программное обеспечение должны быть валидированы по установленной процедуре до начала использования. Обслуживание вычислительной системы должно включать процесс резервного копирования и план восстановления системы. Результаты такого обслуживания и технических проверок должны записываться.
4.7.1.2 Результаты, полученные от участников, должны записываться и анализироваться соответствующими методами. Должны быть разработаны и внедрены процедуры для проверки достоверности ввода данных, передачи данных, статистического анализа и отчетности.
4.7.1.3 В ходе анализа данных должны быть получены итоговые статистики и статистики функционирования, а также сопутствующая информация, согласующаяся со статистическими методами программы проверки квалификации.
4.7.1.4 Влияние выбросов на итоговые статистики должно быть минимизировано посредством использования робастных статистических методов или подходящих критериев для обнаружения статистических выбросов.
4.7.1.5 Провайдер проверки квалификации должен иметь документированные критерии и процедуры для обращения с результатами испытаний, которые могут быть неподходящими для выполнения статистической оценки, например ошибки в расчетах, перестановка и другие грубые ошибки.
4.7.1.6 Провайдер проверки квалификации должен иметь документированные критерии и процедуры для идентификации и управления образцами для проверки квалификации, которые были распределены и впоследствии признаны неподходящими для оценивания характеристик функционирования, например, по причине неоднородности, нестабильности, повреждения или загрязнения.
4.7.2 Оценивание характеристики функционирования
4.7.2.1 Провайдер проверки квалификации должен использовать адекватные методы оценивания, которые соответствуют цели программы проверки квалификации. Методы должны быть документированы и включать описание основ для оценивания. Оценивание характеристики функционирования не может выполняться по договору субподряда (см. 5.5.2).
4.7.2.2 Если приемлемо для цели программы проверки квалификации, провайдер проверки квалификации должен предоставить квалифицированные комментарии по характеристикам функционирования участников в отношении следующего:
a) итоговая характеристика функционирования в сравнении с предварительными ожиданиями, принимая во внимание неопределенности измерений;
b) разброс результатов внутри и между участниками и сравнение с любыми предыдущими турами проверки квалификации;
c) различие методов или методик;
d) возможные источники ошибок (в отношении выбросов) и предложения по улучшению выполнения испытаний;
e) консультации и обратная связь с участниками с целью их обучения как часть постоянных процедур по усовершенствованию квалификации участников;
f) ситуации, когда исключительные факторы делают оценку результатов и комментарии по характеристике функционирования невозможными;
g) любые другие предложения, рекомендации или общие комментарии;
h) выводы.
Примечание - Может быть полезным предоставлять периодически участникам индивидуальные заключения во время или после выполнения конкретной программы проверки квалификации. Эти заключения могут включать обновленные итоговые характеристики функционирования отдельных участников, полученные по отношению к последовательным турам проверки квалификации непрерывной программы проверки квалификации. Такие итоговые характеристики могут в дальнейшем анализироваться и выделяться тенденции, если требуется.
4.8 Отчеты
4.8.1 Отчеты по проверке квалификации должны быть понятными и исчерпывающими и включать данные, содержащие результаты всех участников вместе с указанием характеристик функционирования отдельных участников. Утверждение отчета не может выполняться на субподрядной основе (см. 5.5.2).
Примечание - Если все полученные данные не могут быть указаны в отчете для участников, то результаты могут быть представлены в обобщенной форме, например табличной или графической.
4.8.2 Отчеты должны включать следующую информацию, если это приемлемо или если провайдер проверки квалификации не имеет веских причин не указывать ее:
a) наименование и контактные данные провайдера проверки квалификации;
b) имя, фамилия и контактные данные координатора;
c) имя (имена), фамилия(и), должность(и) и подпись(и) или эквивалентная идентификация лица (лиц), отвечающего(их) за утверждение отчета;
d) указание работ, которые выполнялись по договору субподряда с провайдером проверки квалификации;
e) дата подготовки и статус (например, предварительный, промежуточный или окончательный) отчета;
f) номера страниц и четкое обозначение конца отчета;
g) установление степени конфиденциальности результатов;
h) номер отчета и четкая идентификация программы проверки квалификации;
i) четкое описание используемых образцов для проверки квалификации, включая необходимые подробности подготовки образцов для проверки квалификации и оценки их однородности и стабильности;
j) результаты участников;
k) статистические данные и итоговые расчеты, включая приписанные значения и диапазон приемлемых результатов и графические изображения;
l) процедуры, используемые для установления приписанного значения;
m) подробное описание метрологической прослеживаемости и неопределенности измерений каждого приписанного значения;
n) процедуры установления стандартного отклонения для оценки квалификации или другие критерии оценивания;
o) приписанные значения и итоговые статистики для методов или методик испытаний, используемых каждой группой участников (если различные методы использовались различными группами участников);
p) комментарии провайдера проверки квалификации и технических экспертов относительно характеристик функционирования участников;
q) информация о разработке и реализации программы проверки квалификации;
r) процедуры, используемые для статистического анализа данных;
s) рекомендации по интерпретации статистического анализа;
t) комментарии или рекомендации, основанные на результатах тура проверки квалификации.
Примечание - Для непрерывных программ проверки квалификации можно использовать простые отчеты, допускающие исключение многих элементов данного пункта из обычных отчетов, но включенных в протоколы программы проверки квалификации или в периодические итоговые отчеты, которые доступны участникам.
4.8.3 Отчеты должны быть предоставлены участникам в соответствии с графиком. В последовательных программах проверки квалификации, например, когда время оборота образцов для проверки квалификации может быть очень долгим, и в программах, включающих скоропортящиеся материалы, предварительные или ожидаемые результаты могут быть предоставлены до того, как будут опубликованы окончательные результаты.
Примечание - Такой подход способствует раннему выявлению возможных ошибок.
4.8.4 Провайдер проверки квалификации должен иметь политику по использованию отчетов отдельными лицами или организациями.
4.8.5 Если необходимо выпустить новый или исправленный отчет программы проверки квалификации, он должен включать следующую информацию:
a) уникальную идентификацию;
b) ссылку на исходный отчет, который заменяется или исправляется;
c) формулировку, касающуюся причин внесения исправлений или публикации нового отчета.
4.9 Взаимодействие с участниками
4.9.1 Провайдер проверки квалификации должен предоставлять детальную информацию о программе проверки квалификации. Она должна включать:
a) сведения, относящиеся к области распространения программы проверки квалификации;
b) любые платежи, касающиеся участия;
c) документированные критерии участия;
d) соглашения о конфиденциальности;
e) инструкции по подаче заявки на участие.
4.9.2 Участники должны быть своевременно осведомлены провайдером проверки квалификации о любых изменениях проекта или условий выполнения программы проверки квалификации.
4.9.3 Должны иметься документированные процедуры, позволяющие участникам опротестовать оценку их характеристик функционирования в рамках программы проверки квалификации. О наличии такой возможности следует сообщить участникам программы проверки квалификации.
4.9.4 Следует должным образом вести учет и хранение записей по взаимодействию с участниками.
4.9.5 Если провайдер проверки квалификации издает официальные отчеты (бюллетени) об участии или характеристиках функционирования, то они должны содержать информацию, достаточную для их правильного толкования.
4.10 Конфиденциальность
4.10.1 Идентификация участников программы проверки квалификации должна быть конфиденциальной и известной только лицам, привлекаемым к процессу проведения программы проверки квалификации, если только участники не отказываются от конфиденциальности.
4.10.2 Вся информация, предоставляемая участником провайдеру проверки квалификации, должна рассматриваться как конфиденциальная.
Примечание - Участники могут предпочесть отказаться от конфиденциальности в рамках программы проверки квалификации с целью обсуждения и взаимопомощи, например для улучшения своей работы. Конфиденциальность также может быть отвергнута участником при выполнении работ в законодательно регулируемой области или с целью признания. В большинстве случаев результаты проверки квалификации могут быть предоставлены соответствующему органу самими участниками.
4.10.3 Если заинтересованная сторона требует предоставления результатов проверки квалификации непосредственно от провайдера проверки квалификации, то участники должны быть осведомлены о такой договоренности перед участием в программе проверки квалификации.
4.10.4 В исключительных случаях, когда официальный орган требует от провайдера проверки квалификации предоставления ему результатов проверки квалификации, участники соответствующей программы проверки квалификации должны быть уведомлены об этом письменно.
5 Требования к менеджменту
5.1 Организация
5.1.1 Провайдер проверки квалификации или организация, в которой он состоит, должны быть субъектами хозяйствования, имеющими статус подотчетного юридического лица.
5.1.2 Провайдер проверки квалификации несет ответственность за осуществление работ по проверке квалификации в соответствии с требованиями настоящего стандарта, а также удовлетворение запросов участников, органов государственного управления или организаций, обеспечивающих признание.
5.1.3 Система менеджмента должна охватывать работу, выполняемую на постоянных производственных площадях провайдера проверки квалификации, вне постоянных площадей и на временно используемых площадях.
5.1.4 Если провайдер проверки квалификации является частью организации, занимающейся деятельностью, отличной от проверки квалификации, то, чтобы избежать возможных конфликтов интересов, провайдер должен определить ответственность ведущего персонала в организации, которая имеет сопричастность или может оказать влияние на работы по проверке квалификации. Когда потенциальные конфликты интересов определены, должны быть внедрены процедуры, гарантирующие беспристрастное выполнение всех видов работ, связанных с проверкой квалификации.
5.1.5 Провайдер проверки квалификации должен:
a) иметь руководящий и технический персонал, который независимо от других обязанностей обладал бы полномочиями и ресурсами, необходимыми для выполнения функций, связанных с применением, поддержанием и улучшением системы менеджмента и выявлением отклонений от системы менеджмента или от процедур для обеспечения программ проверки квалификации и для инициирования действий по предотвращению или сведению к минимуму таких отклонений;
b) проводить мероприятия для гарантии того, что его руководство и персонал не зависят от какого бы то ни было внутреннего и внешнего коммерческого, финансового и других давлений, которые могут отрицательно влиять на качество их работы;
c) иметь политику и процедуры для обеспечения защиты конфиденциальности информации и прав собственности участников, включая процедуры для защиты информации при ее хранении и передаче с помощью электронных средств;
d) иметь политику и процедуры, предотвращающие вовлечение в любую деятельность, которая снизила бы доверие к его компетентности, беспристрастности, технической оценке и объективности при выполнении работы;
e) определить организационную и управленческую структуру, ее место в головной организации и взаимоотношение между процессами, связанными с менеджментом качества, техническими операциями и вспомогательной службой;
f) установить ответственность, полномочия, взаимосвязь и требуемую компетенцию для всех сотрудников, которые руководят, выполняют или проверяют работу, влияющую на качество проведения программ проверки квалификации;
g) гарантировать, что сотрудники осведомлены о значимости и важности их деятельности, а также о том, какой вклад они вносят в достижение целей системы менеджмента;
h) обеспечить надлежащий контроль за техническим персоналом, в том числе за стажерами, осуществляемый лицами, хорошо знающими процедуры для каждого вида деятельности;
i) иметь технического руководителя, который должен нести полную ответственность за технические операции и обеспечение ресурсами, необходимыми для достижения требуемого качества программ проверки квалификации; включая доступ к необходимой технической экспертизе и опыту в соответствующей области испытаний, калибровки или контроля, а также в области статистики, как указано в 4.4.1.4;
j) назначить из числа сотрудников руководителя по качеству (названного соответствующим образом), который независимо от других обязанностей и ответственности должен нести определенную ответственность и обладать полномочиями для обеспечения того, чтобы система менеджмента была внедрена и ее требования постоянно соблюдались; руководитель по качеству должен иметь прямой доступ к самому высокому уровню руководства, где принимаются решения по определению политики провайдера проверки квалификации или обеспечению ресурсами;
k) назначить заместителей основного руководящего персонала.
Примечание - Если провайдер проверки квалификации имеет небольшое количество персонала, сотрудники могут выполнять более одной функции, и нецелесообразно назначать заместителей для всех основных функций.
5.1.6 Высшее руководство должно гарантировать, что в организации действуют соответствующие процессы обмена информацией и что такой обмен касается результативности системы менеджмента.
5.2 Система менеджмента
5.2.1 Провайдер проверки квалификации должен создать, внедрить и поддерживать на должном уровне систему менеджмента, соответствующую сфере его деятельности, включая виды, области и объемы проверок квалификации, которые он проводит.
5.2.2 Провайдер проверки квалификации должен определить и документально оформить свою политику, программы, процедуры и инструкции настолько подробно, насколько это необходимо для обеспечения качества всех аспектов деятельности по проведению проверок квалификации. Документацию системы менеджмента необходимо довести до сведения соответствующего персонала, она должна быть ему понятна, доступна и должна им применяться.
Примечание - Указанные аспекты включают, но не ограничиваются: качеством образца для проверки квалификации (например, однородность и стабильность), определением характеристик (например, калибровка оборудования и аттестация метода), приписыванием значений свойствам (например, использование соответствующих статистических процедур), оцениванием характеристики функционирования участника, распределением образцов для проверки квалификации, процедурой хранения и транспортирования, статистической обработкой результатов и составлением отчетов.
5.2.3 Политика системы менеджмента провайдера проверки квалификации, касающаяся качества, включая заявление о политике в области качества, должна быть определена в руководстве по качеству (названного соответствующим образом). Общие цели должны быть заявлены и должны пересматриваться при анализах, проводимых руководством. Заявление о политике в области качества должно быть издано высшим руководителем. Заявление о политике должно включать как минимум следующее:
a) обязательства руководства в отношении качества его услуг по проведению проверки квалификации, предоставляемых участникам и другим заказчикам;
b) заявление руководства о стандарте обслуживания;
c) цели системы менеджмента, касающиеся качества;
d) требование о том, чтобы весь персонал, связанный с деятельностью по проведению проверки квалификации, ознакомился с документацией по качеству и в своей работе реализовывал соответствующую политику и процедуры;
e) обязательства руководства по обеспечению соответствия настоящему стандарту и постоянному повышению результативности системы менеджмента.
5.2.4 Высшее руководство должно представить доказательства выполнения обязательств, касающихся разработки и применения системы менеджмента, а также постоянного повышения ее результативности.
5.2.5 Высшее руководство должно довести до сведения персонала важность выполнения требований заказчика, а также требований предписывающих документов провайдера и законодательства.
5.2.6 Руководство по качеству должно содержать процедуры системы менеджмента, в том числе технические процедуры или ссылки на документы, описывающие их. В нем должна быть изложена структура документации, используемой в системе менеджмента.
5.2.7 В руководстве по качеству должны быть определены роль и ответственность технического руководителя и руководителя по качеству, в том числе их ответственность за обеспечение соответствия настоящему стандарту.
5.2.8 Высшее руководство обязано гарантировать, что при планировании и внесении изменений в систему менеджмента ее целостность сохраняется.
5.3 Управление документацией
5.3.1 Общие положения
Провайдер проверки квалификации должен разработать и поддерживать на должном уровне процедуры управления всеми документами (разработанными непосредственно провайдером или поступившими извне), которые составляют часть его системы менеджмента. К ним относятся регламенты, стандарты, другие нормативные правовые акты, протоколы программ проверки квалификации, методы испытаний и/или калибровок, а также чертежи, спецификации программного обеспечения, инструкции и руководства.
5.3.2 Утверждение и выпуск документов
5.3.2.1 Все документы, выпускаемые как часть системы менеджмента, должны подвергаться экспертизе и утверждаться уполномоченным персоналом до их выпуска. Чтобы предотвратить использование недействующих и/или устаревших документов, в системе менеджмента должен быть установлен и доступен реестр оригиналов документов или эквивалентная процедура управления документацией, показывающая текущий статус пересмотра и распределение документов.
5.3.2.2 Принятые процедуры должны также гарантировать, что:
a) утвержденные редакции соответствующих документов имеются в распоряжении на всех рабочих местах, где осуществляется деятельность, важная для эффективного выполнения программ проверки квалификации;
b) документы периодически пересматриваются и при необходимости корректируются, чтобы обеспечить постоянную их пригодность и соответствие действующим требованиям;
c) недействительные или устаревшие документы своевременно изымаются из обращения или обеспечивается иная защита от непредусмотренного их применения;
d) устаревшие документы, сохраняемые для юридической цели или с целью сохранения сведений, маркируются соответствующим образом.
5.3.2.3 Документы системы менеджмента, разработанные провайдером проверки квалификации, должны иметь уникальную (неповторяющуюся) идентификацию. Такая идентификация должна включать обозначение даты выпуска и/или пересмотра, нумерацию страниц, общее количество страниц или обозначение конца документа, подразделение(я), издавшее(ие) документ.
5.3.3 Изменения документов
5.3.3.1 Изменения к документам должны быть подвергнуты экспертизе и утверждены тем же самым персоналом, который проводил первоначальную экспертизу и утверждение, если не предусмотрено иное. Назначенный персонал должен иметь доступ к соответствующей исходной информации, на основе которой будет проводиться экспертиза и утверждение изменения.
5.3.3.2 Там, где это осуществимо, измененный или новый текст должен быть обозначен в документе или в соответствующих приложениях.
5.3.3.3 Если система контроля документации провайдера проверки квалификации предусматривает исправление документов от руки перед повторным изданием документов, то должны быть определены процедуры и полномочия для внесения таких исправлений. Эти исправления должны быть четко помечены, завизированы и датированы. Пересмотренный документ должен быть издан, как только это станет практически осуществимо.
5.3.3.4 Должны быть установлены процедуры, описывающие внесение изменений в документы, хранящиеся в автоматизированных системах на компьютерах, а также процедуры для контроля этих изменений.
5.4 Анализ запросов, тендеров и договоров
5.4.1 Провайдер проверки квалификации должен разработать и поддерживать на должном уровне политику и процедуры для анализа запросов, тендеров и договоров. Эти анализы должны гарантировать, что:
a) требования, включая те, которые используются для методов испытаний и калибровки, измерительного оборудования и образцов для проверки квалификации, надлежащим образом определены, документированы и правильно понимаются;
b) провайдер проверки квалификации располагает возможностями и ресурсами, чтобы отвечать этим требованиям;
c) программа проверки квалификации технически адекватна.
Примечание 1 - Такой анализ особенно важен, когда заказчик просит разработать программу проверки квалификации для определенной цели или для отличного от обычно предлагаемого уровня или частоты участия.
Примечание 2 - Такой анализ может быть упрощен, когда программа проверки квалификации полностью описана в каталоге провайдера или другом его документе и участник регистрируется для участия в стандартной программе проверки квалификации.
5.4.2 Должны вестись записи таких анализов, включая учет всех существенных изменений. Кроме того, в течение срока выполнения договора с заказчиком должны вестись записи соответствующих обсуждений, касающихся требований заказчика и/или результатов работы в течение периода выполнения договора.
5.4.3 Анализ должен охватывать все аспекты запросов, включая любую работу, которая будет выполняться провайдером проверки квалификации по договору с субподрядчиком.
5.4.4 Участников и других заказчиков при необходимости следует информировать о любом отклонении от договора или согласованного проекта программы проверки квалификации.
5.4.5 Если необходимо внести изменения в договор после того, как начато выполнение программы проверки квалификации, то повторно проводится та же процедура анализа договора и любые поправки доводятся до сведения всего персонала, которого это касается.
5.5 Услуги, предоставляемые на субподрядной основе
5.5.1 Если провайдер проверки квалификации выполняет часть работ на субподрядной основе, то он должен продемонстрировать, что опыт и техническая компетенция субподрядчиков достаточны для выполнения поручаемых им задач и что они соответствуют требованиям соответствующих пунктов данного международного стандарта и других соответствующих стандартов.
5.5.2 Провайдер проверки квалификации не должен выполнять по договору с субподрядчиком планирование программы проверки квалификации (см. 4.4.1.2), оценку характеристик функционирования (см. 4.7.2.1) или утверждение окончательного отчета (см. 4.8.1).
Примечание - Провайдер проверки квалификации может использовать рекомендации или помощь любых консультантов, экспертов или групп ведущих специалистов.
5.5.3 Провайдер проверки квалификации должен информировать участников заранее и в письменном виде об услугах, которые выполняются или могут быть выполнены по договору с субподрядчиком.
Примечание - Такое уведомление может быть приведено, например, в документации программы проверки квалификации и иметь форму следующего содержания: "Различные аспекты программы проверки квалификации иногда могут выполняться по договору с субподрядчиком. При выполнении работ с субподрядчиками заказ на выполнение такой работы размещается у компетентного субподрядчика, и провайдер проверки квалификации является ответственным за выполненную им работу".
5.5.4 Провайдер проверки квалификации несет ответственность перед участниками или другими заказчиками за работу, выполняемую субподрядчиком, за исключением тех случаев, когда субподрядчик определяется органом государственного управления.
5.5.5 Провайдер проверки квалификации должен вести реестр всех субподрядчиков, с которыми он заключает договоры при выполнении программ проверки квалификации, включая объем работ с субподрядчиками и регистрацию данных об оценке компетенции выполняемой ими работы по отношению к требованиям соответствующих разделов настоящего стандарта и других соответствующих стандартов.
5.6 Приобретение услуг и материалов
5.6.1 Провайдер проверки квалификации должен иметь политику и процедуру(ы) для выбора услуг и материалов, которые он использует и которые влияют на качество программ проверки квалификации. Должны существовать процедуры для закупки, приемки и хранения реагентов, образцов для проверки квалификации, эталонных материалов и других расходных материалов, необходимых для программ проверки квалификации.
5.6.2 Провайдер проверки квалификации должен гарантировать, что приобретаемые материалы, оборудование и расходные материалы, которые влияют на качество программ проверки квалификации, не используются до тех пор, пока не будут осмотрены или проверены иным способом на соответствие техническим нормативам или требованиям. Должны вестись учетно-отчетные документы о действиях, предпринимаемых для проверки соответствия.
5.6.3 Документы на поставку изделий, влияющих на качество программ проверки квалификации, должны содержать данные, описывающие заказанные услуги и вспомогательные материалы. Документы на поставку должны быть проанализированы и приняты с технической точки зрения до введения в действие.
5.6.4 Провайдер проверки квалификации должен проводить оценку поставщиков важнейших услуг и материалов, которые влияют на качество программ проверки квалификации. Провайдер проверки квалификации должен вести записи об этих оценках и перечень поставщиков, получивших одобрение.
Примечание - Допускается ситуация, в которой от провайдеров проверки квалификации могут потребовать осуществлять процедуры закупки в соответствии с политикой, определенной материнской компанией или головной организацией.
5.7 Предоставление услуг заказчику
5.7.1 Провайдер проверки квалификации должен сотрудничать с участниками программ проверки квалификации и другими заказчиками для внесения ясности в запросы заказчиков и для текущего контроля выполнения провайдером проверки квалификации его работы при условии, что провайдер проверки квалификации гарантирует конфиденциальность в отношении своих заказчиков.
5.7.2 Провайдер проверки квалификации должен стремиться получать от своих заказчиков как позитивную, так и негативную информацию. Полученную от заказчиков информацию следует анализировать и использовать для улучшения системы менеджмента, программ проверки квалификации и обслуживания заказчиков.
Примечание - Примерами такой информации являются определение степени удовлетворенности заказчика и анализ отчетов о проверке квалификации совместно с заказчиками.
5.8 Претензии и жалобы
Провайдер проверки квалификации должен иметь политику и следовать процедуре для урегулирования претензий и жалоб, поступивших от заказчиков или других сторон. Должна вестись регистрация всех претензий, жалоб, расследований и корректирующих действий, выполняемых провайдером проверки квалификации.
5.9 Управление работой, не соответствующей установленным требованиям
5.9.1 Провайдер проверки квалификации должен иметь политику и процедуру(ы), которые должны применяться, когда какой-либо аспект его деятельности не соответствует его внутренним процедурам или согласованным требованиям его заказчиков. Политика и процедура(ы) должны гарантировать, что:
a) назначаются уполномоченные лица, определяется их ответственность для управления работой, не соответствующей установленным требованиям, определяются и предпринимаются действия (включая при необходимости приостановку выполняемых программ и отказ в выдаче отчетов), когда выявлена работа, не соответствующая установленным требованиям;
b) производится оценка значимости работы, не соответствующей установленным требованиям;
c) решение о необходимости действий и времени их выполнения принимается немедленно, наряду с любым решением о приемлемости работы, не соответствующей установленным требованиям;
d) участники программы проверки квалификации и другие заказчики при необходимости уведомляются, а образцы для проверки квалификации, не соответствующие установленным требованиям, или отчеты, отправленные участникам, отзываются и не учитываются;
e) определяется ответственность за санкционирование возобновления работы.
Примечание - Выявление работы, несоответствующей установленным требованиям, или проблем, связанных с системой менеджмента или с технической деятельностью, может иметь место в различных точках системы менеджмента и технических операциях. Примерами являются претензии участников, анализы, проводимые руководством, и внутренние или внешние аудиты, контроль качества, подготовка образцов для проверки квалификации, однородность и стабильность образцов, анализ данных, инструкции для участников и обращение с материалами и их хранение.
5.9.2 Если при оценке выявлено, что работа, не соответствующая установленным требованиям, может повториться или есть сомнение в соответствии провайдера проверки квалификации или субподрядчика его собственной политике и процедурам, необходимо безотлагательно следовать процедурам по выполнению корректирующих действий, приведенным в 5.11.
5.10 Улучшение
Провайдер проверки квалификации обязан постоянно повышать результативность своей системы менеджмента посредством реализации политики и целей в области качества, направленных на поддержание качества, результатов аудита, анализа данных, корректирующих и предупреждающих действий, а также анализа со стороны руководства.
5.11 Корректирующие действия
5.11.1 Общие положения
Провайдер проверки квалификации должен выработать политику и процедуру(ы) и назначить соответствующий персонал для реализации корректирующих действий, когда выявлена работа, не соответствующая установленным требованиям, или выявлены отклонения от политики и процедур системы менеджмента или от технических операций.
Примечание - См. примечание к 5.9.1.
5.11.2 Анализ причин
Процедура выполнения корректирующего действия должна начинаться с выяснения основных причин проблемы.
Примечание - Анализ причин - это ключевая и иногда самая трудная часть в процедуре выполнения корректирующего действия. Зачастую основная причина не является очевидной, и поэтому требуется тщательный анализ всех потенциальных источников данной проблемы. К потенциальным источникам могут относиться требования заказчика, образцы для проверки квалификации и технические требования к ним, методы и процедуры, квалификация и подготовка персонала, расходные материалы, подготовка образцов для проверки квалификации, проверка однородности и стабильности, статистические расчеты, инструкции для участников, обращение с материалами и их хранение.
5.11.3 Выбор и реализация корректирующих действий
5.11.3.1 Там, где необходимо выполнить корректирующее действие, провайдер проверки квалификации должен определить возможные корректирующие действия. Он должен выбрать и реализовать действие(я), наиболее подходящее(ие) для того, чтобы устранить проблему и предотвратить ее повторение.
5.11.3.2 Корректирующие действия должны соответствовать масштабу проблемы и связанному с ней риску.
5.11.3.3 Провайдер проверки квалификации должен оформить документально и реализовать любые требуемые изменения по результатам анализа причин корректирующих действий.
5.11.4 Текущий контроль (мониторинг) корректирующих действий
Провайдер проверки квалификации должен проводить мониторинг результатов для обеспечения эффективности предпринимаемых действий.
5.11.5 Дополнительные аудиты
Когда выявление работы, не соответствующей требованиям, или отклонений от разрешенных процедур вызывает сомнение о соответствии провайдера проверки квалификации его собственной политике и процедурам или о соответствии настоящему стандарту, то провайдер проверки квалификации должен как можно быстрее обеспечить проведение аудитов соответствующих областей деятельности в соответствии с 5.14.
Примечание - Такие дополнительные аудиты часто проводятся после выполнения корректирующих действий с целью подтверждения их результативности. Дополнительный аудит следует проводить только тогда, когда выявлена серьезная проблема или риск для программы проверки квалификации.
5.12 Предупреждающие действия
5.12.1 Должны быть определены области, в которых требуется улучшение, а также потенциальные источники несоответствий, которые могут быть связаны с системой менеджмента или с техническими операциями. Если выявлены области, в которых требуется улучшение, или если требуется предупреждающее действие, то с целью уменьшения вероятности возникновения несоответствий и использования возможности улучшения должны быть разработаны и реализованы соответствующие планы действий, а также должен осуществляться постоянный контроль за их выполнением.
5.12.2 Любые процедуры для предупреждающих действий должны включать порядок инициирования таких действий и проведения контроля в целях гарантии их эффективности.
5.13 Управление учетно-отчетными документами
5.13.1 Общие положения
5.13.1.1 Провайдер проверки квалификации должен установить и поддерживать на должном уровне процедуры по идентификации, сбору, индексированию, доступу, учету, хранению, ведению и уничтожению документов. Документы, содержащие данные о качестве, должны включать отчеты о внутренних аудитах и анализах, проводимых руководством, а также документы о корректирующих и предупреждающих действиях.
5.13.1.2 Все документы должны быть разборчиво оформлены и должны храниться таким способом, чтобы можно было легко получить к ним доступ, и в местах, в которых обеспечиваются соответствующие условия окружающей среды для предотвращения их повреждения, ухудшения качества и потери. Должны быть установлены сроки хранения учетно-отчетных документов.
Примечание - Документы могут быть оформлены с помощью любых средств, таких как бумажные копии или электронные носители данных.
5.13.1.3 Все документы должны храниться в условиях безопасности, конфиденциально и в соответствии с установленными требованиями.
5.13.1.4 Провайдер проверки квалификации должен иметь процедуры защиты целостности и создания резервных копий документов, хранимых с помощью электронных средств, а также процедуры для предотвращения несанкционированного доступа к ним или их изменения.
5.13.2 Технические документы
5.13.2.1 Провайдер проверки квалификации должен сохранять в течение определенного периода времени документы, содержащие все технические данные, имеющие отношение к каждому туру проверки квалификации, включая, но не ограничиваясь следующей информацией:
a) результаты испытаний на однородность и стабильность;
b) инструкции для участников;
c) оригиналы ответов участников;
d) упорядоченные данные для статистического анализа;
e) информация, требуемая для отчетов (см. 4.8);
f) окончательные отчеты (общие и/или индивидуальные).
Примечание 1 - Рекомендуется хранить столько информации, сколько необходимо для проведения контрольной проверки обработки результатов тура проверки квалификации.
Примечание 2 - Технические документы представляют собой накопленные данные и информацию, которые получены в результате выполнения всех действий при проведении проверки квалификации. Они могут включать бланки, договоры, рабочие таблицы, рабочие журналы, контрольные таблицы, рабочие записи, отчеты субподрядчика и информацию, полученную от заказчика.
5.13.2.2 Ввод, проверка данных и расчеты должны регистрироваться во время их выполнения и отождествляться с конкретной задачей и ответственным персоналом.
5.13.2.3 Если в документах встречаются ошибки и вносятся исправления, то должны предприниматься действия, для того чтобы:
a) определить изменение и дату исправления;
b) избежать потери исходных данных;
c) определить лицо, сделавшее изменение.
5.14 Внутренние аудиты
5.14.1 Провайдер проверки квалификации периодически и в соответствии с предписанным графиком и процедурой должен проводить внутренние аудиты своей деятельности, для того чтобы проверить, продолжают ли его операции соответствовать требованиям системы менеджмента и настоящего стандарта. Программа внутреннего аудита должна затрагивать все элементы системы менеджмента, включая технические процедуры и подготовку образцов для проверки квалификации, их хранение и распределение, а также отчетную деятельность по выполнению программы проверки квалификации. Ответственность за планирование и организацию аудитов несет руководитель по качеству в соответствии с графиком и требованиями руководства организации. Внутренние аудиты должны проводиться обученными и квалифицированными сотрудниками, независимыми от деятельности, в отношении которой проводят аудит.
Примечание - Рекомендуется, чтобы программа внутреннего аудита системы менеджмента выполнялась каждые 12 мес.
5.14.2 Когда результаты аудита вызывают сомнение в эффективности операций, включая пригодность и правильность выбора образцов для проверки квалификации, процедуры, статистические расчеты и представление данных, то провайдер проверки квалификации должен своевременно предпринять корректирующее действие и известить заказчиков и/или участников программ проверки квалификации, чья деятельность могла быть подвержена риску.
5.14.3 Должны регистрироваться сфера деятельности, подвергнутой аудиту, результаты аудита и корректирующие действия, вытекающие из них.
5.14.4 При последующих мероприятиях по аудиту деятельности должны проверяться и регистрироваться реализация и эффективность предпринятого корректирующего действия.
5.15 Анализы, проводимые руководством
5.15.1 В соответствии с предписанным графиком и процедурой руководство провайдера проверки квалификации должно периодически проводить анализ системы менеджмента провайдера проверки квалификации и деятельности по проведению проверок квалификации с целью обеспечения их постоянной пригодности и эффективности и внесения любых необходимых изменений или усовершенствований. В процессе этого анализа должны приниматься во внимание:
a) пригодность политики и процедур;
b) отчеты руководящего и контролирующего персонала;
c) результаты последних внутренних аудитов;
d) корректирующие и предупреждающие действия;
e) аудиты, проводимые внешними органами;
f) изменения объема и вида работ;
g) информация от заказчика, консультативной группы или участника;
h) претензии и жалобы;
i) рекомендации по улучшению;
j) другие относящиеся к делу факторы, такие как ресурсы и обучение персонала.
Примечание 1 - Обычная периодичность проведения анализа руководством - каждые 12 мес.
Примечание 2 - Результаты этого анализа могут учитываться в системе планирования провайдера проверки квалификации и могут включать цели и планы действий.
Примечание 3 - К анализу, проводимому руководством, относится рассмотрение сопутствующих вопросов на регулярных совещаниях руководства.
Примечание 4 - Когда провайдер проверки квалификации является частью более крупной организации, может быть уместным проводить отдельные совещания по анализу, чтобы охватить деятельность по проверке квалификации.
5.15.2 Результаты анализов, проводимых руководством, и вытекающие из них действия должны регистрироваться. Руководство должно обеспечить, чтобы эти действия были выполнены в приемлемом и согласованном масштабе времени.
Приложение A
(справочное)
Типы программ проверки квалификации
A.1 Общие положения
Проверки квалификации стали необходимым условием лабораторной практики во всех областях испытаний, калибровки и контроля. Программы проверки квалификации различаются в зависимости от области, в которой они используются, природы образцов для проверки квалификации, применяемых методов и количества участников. Однако в своей простейшей форме большинство программ проверки квалификации обладают общими признаками, характерными для сличений результатов, полученных в данной лаборатории, с результатами, полученными в другой или в нескольких разных лабораториях.
Природа испытаний или измерений, выполняемых в процессе проведения программ проверки квалификации, влияет на метод сравнения характеристик функционирования. Существует три основных типа лабораторных исследований: количественный, качественный и интерпретационный.
Результаты количественных измерений являются численными и представляются по шкале интервалов или отношений. Критерии для количественных измерений могут различаться в зависимости от их прецизионности, правильности, аналитической чувствительности и специфики. В количественных программах проверок квалификации численные результаты обычно анализируются статистически.
Результаты качественных испытаний являются описательными и представляются по номинальной или порядковой шкале (например, идентифицировать микроорганизмы) или определением присутствия определенной измеряемой величины (такой как наркотик или классификация характеристики). Оценивание характеристики функционирования методом статистического анализа не может быть приемлемым для качественных исследований.
При испытаниях с целью интерпретации образец для проверки квалификации является результатом испытания (например, формулировка описательной морфологии), набором данных (например, чтобы определить калибровочную кривую) или другим набором информации (например, исследование определенной проблемы), касающейся интерпретируемого признака, находящегося в компетенции участника.
Другие программы проверки квалификации имеют дополнительные особенности, зависящие от их целей, как кратко описано в 3.7, примечание 1, перечисления a)-h). Некоторые общие случаи применения таких типов проверок квалификации обсуждаются далее и представлены на рисунке A.1. Эти программы могут быть "разовыми" и проводиться только один раз или "непрерывными" и проводиться через регулярные интервалы.
A.2 Последовательные программы
Последовательные программы (иногда известные как программы сличения измерений) касаются образца для проверки квалификации, передаваемого последовательно от одного участника к другому (т.е. последовательное участие) или иногда направляемого обратно провайдеру проверки квалификации для перепроверки. Модель 1 на рисунке A.1 предоставляет краткую сводку этого типа проекта, а его типичные основные особенности описаны ниже.
a) Используется референтная лаборатория, которая способна обеспечить метрологическую прослеживаемость приписанного значения образца для проверки квалификации с достаточно маленькой неопределенностью измерений и надежность самого образца. Для категорийных или порядковых свойств приписанное значение должно быть определено на основании соглашения экспертов или другим уполномоченным источником. Для того чтобы не произошло значительного изменения приписанного значения, может потребоваться контроль образца для проверки квалификации через определенные этапы во время выполнения программы проверки квалификации.
b) Отдельные результаты измерений сравниваются с приписанным значением, установленным референтной лабораторией. Координатор должен принимать во внимание заявленную неопределенность измерений каждого участника или заявленный уровень экспертной оценки. Сравнение результатов внутри групп может оказаться сложным из-за сравнительно небольшого количества участников, имеющих сопоставимые измерительные возможности.
c) Для завершения последовательных программ требуются длительные промежутки времени (в некоторых случаях годы). Это вызывает ряд трудностей, таких как:
- обеспечение стабильности образца;
- строгий контроль за перемещением образца между участниками и временем, отводимым на измерение отдельными участниками;
- необходимость предоставления информации по индивидуальным характеристикам функционирования в процессе проведения программы, а не дожидаясь ее окончания.
d) Образцы для проверки квалификации (измерительные артефакты), используемые в этом типе проверок квалификации, могут включать, например, исходные эталоны (например, резисторы, микрометры и частотомеры) или в медицинских программах гистологические предметные стекла с установленными диагнозами.
e) Программы, которые соответствуют данному типу, но ограничены ситуацией, когда индивидуально проверяется один участник, часто называются измерительным аудитом.
f) В некоторых случаях приписанное значение образца для проверки квалификации может быть определено на основе соглашения, после того как все участники (или в некоторых случаях подгруппа участников) завершат измерения в рамках сличений.
A.3 Параллельные программы
A.3.1 Общие положения
Параллельные программы проверки квалификации обычно касаются проб, случайно отобранных из определенного источника и распределенных параллельно между участниками для проведения одновременных испытаний. В некоторых программах участниками отбираются образцы, которые затем при анализе рассматриваются как образцы для проверки квалификации. После завершения испытаний результаты возвращаются провайдеру проверки квалификации и сравниваются с приписанным значением(ями), чтобы определить характеристики функционирования отдельных лабораторий или группы в целом. К примерам образцов для проверки квалификации, используемых в этом типе программы, относятся пищевые продукты, биологические жидкости, сельскохозяйственная продукция, вода, почва, полезные ископаемые и другие вещества окружающей среды. В некоторых случаях распределяются отдельные количества ранее созданных стандартных образцов. Рекомендации или толкования являются типичной частью отчета, направляемого участникам провайдером проверки квалификации с целью содействия улучшению характеристик функционирования. Модель 2 на рисунке A.1 представляет типичную программу проверки квалификации этого типа, применяемую обычно для испытательных лабораторий. Модель 3 представляет собой тип программы, которая часто используется в сочетании с параллельными программами для надзорных или образовательных целей.
В приложении B приведены возможности определения различными способами приписанных значений для этих программ проверки квалификации. Однако оценка характеристики функционирования может основываться или на согласованных значениях участников (всех участников или подгруппы "экспертов"), или на независимо определенных приписанных значениях.
Программы с известным значением используют приписанные значения, которые определены независимо от участников и включают подготовку образцов для проверки квалификации с набором известных измеряемых величин или характеристик. Сертифицированные стандартные образцы также могут использоваться в программах, так как их сертифицированные значения и неопределенность измерений используются напрямую. Непосредственное сличение может также осуществляться между образцом для проверки квалификации и сертифицированным стандартным образцом в условиях повторяемости. Однако следует позаботиться о гарантии того, чтобы сертифицированный стандартный образец был близко сопоставим с образцом для проверки квалификации. В этом типе программы могут быть использованы образцы для проверки квалификации из предыдущих туров проверок квалификации, если образец продемонстрировал стабильность.
Существует одно специфическое применение проверки квалификации, часто называемое "слепая проверка квалификации", т.е. когда образец для проверки квалификации неотличим от образцов обычного заказчика лаборатории или проб, получаемых лабораторией. Этот тип проверки квалификации может быть сложным, так как он требует согласованности с обычным заказчиком лаборатории. В дополнение ко всему из-за уникальности упаковки и требований к отгрузке обработка общей массы образца не выполняется и проверка однородности затруднена.
A.3.2 План с разделенными уровнями
Обычной программой для проверки квалификации является программа с разделенными (расщепленными) уровнями, когда схожие (но не одинаковые) уровни измеряемой величины представлены двумя отдельными образцами для проверки квалификации. Программа используется для оценки прецизионности участника на определенном уровне измеряемой величины. Это позволяет избежать проблем, связанных с повторными измерениями одного и того же образца для проверки квалификации, или проблем, связанных с включением двух идентичных образцов для проверки квалификации в один и тот же тур проверки квалификации.
A.3.3 Программы с разделенной пробой
Одним особенным типом плана проверки квалификации, который часто используется заказчиками лабораторий, участвующих в проверке квалификации, и некоторыми органами государственного управления, является план с разделенной пробой.
Примечание - Этот план не следует путать с планом с разделенными уровнями, рассматриваемым в A.3.2.
Обычно проверки квалификации с разделенной пробой включают сравнение данных, полученных небольшими группами участников (часто только двумя). В этих программах проверки квалификации пробы продукта или материала делятся на две (или более) части, причем каждый участник испытывает одну часть пробы (см. рисунок A.1, модель 5). Программы этого типа применяют для выявления недостаточной точности, описания постоянного смещения и проверки эффективности корректирующих действий. Данная программа может использоваться для оценивания одного или обоих участников в качестве поставщиков услуг по испытаниям или, когда участников программы слишком мало для соответствующего оценивания результатов.
В таких программах один из участников может рассматриваться как работающий на более высоком метрологическом уровне (т.е. с меньшей неопределенностью измерения) благодаря использованию методов высшей точности и более совершенного оборудования и т.д. или через подтверждение своих характеристик функционирования через успешное участие в общепризнанных программах межлабораторных сличений. Его результаты в таких сличениях рассматриваются в качестве приписанных значений, и он может действовать как лаборатория-консультант или лаборатория-куратор по отношению к другим участникам, сличающим с ним данные, полученные в отношении разделенной пробы.
A.3.4 Программы неполного процесса
Специальные типы проверок квалификации включают оценивание способностей участников выполнять отдельные части полного процесса испытаний или измерений. Например, некоторые существующие программы оценивают способности лаборатории преобразовывать заданный набор данных и представлять соответствующий отчет (а не проводить полное испытание или измерение); давать трактовки (толкования), основанные на заданном наборе данных или на образцах для проверки квалификации, например загрязненный мазок крови для диагностирования; или отбирать и подготавливать пробы или образцы в соответствии с установленными техническими требованиями.
A.4 Программы внешней оценки качества (EQA)
Программы EQA (например, которые предусматриваются для лабораторных проверок в области медицины) предлагают разнообразие программ межлабораторных сличений, основанных на обычной модели проверки квалификации, но с широким применением программ, описанных в A.2 и A.3 и приведенных на рисунке A.1. Многие программы EQA разрабатываются для понимания полной цепочки последовательности выполняемых в лаборатории действий, а не только процессов, касающихся выполнения испытаний. Большинство программ являются непрерывными и включают долгосрочный период наблюдения за характеристиками функционирования лаборатории. Характерная особенность программ EQA - обучение участников и повышение качества. Для достижения этой цели частью отчета, направляемого участникам, являются рекомендации и толкования.
Некоторые программы EQA оценивают выполнение этапов испытаний, которые осуществляются до и после аналитического исследования, а также этап аналитического исследования. В таких программах EQA природа образца для проверки квалификации может значительно отличаться от тех, которые используются в обычных программах проверки квалификации. Образец для проверки квалификации может быть в виде анкеты или задания по исследованию определенной проблемы (см. рисунок A.1, модель 3), направляемых провайдером EQA каждому участнику для получения определенных ответов. Альтернативно информация, необходимая перед выполнением аналитического исследования, может сопровождать образец для проверки квалификации, требуя от участников выбрать соответствующий подход для испытаний или интерпретации результатов, а не только выполнить испытания. При анализе проб от участников может потребоваться предоставить образец для проверки квалификации провайдеру EQA (см. рисунок A.1, модель 4). Он может быть в виде специально подготовленного образца или пробы (например, окрашенный препарат или фиксированная ткань), лабораторных данных (например, результаты испытания, отчеты лаборатории или документы по обеспечению/контролю качества) или документации (например, процедуры или критерии метода проверки).
________________
Рисунок A.1 - Примеры общих типов программ проверки квалификации
Приложение B
(справочное)
Статистические методы для проверки квалификации
B.1 Общие положения
Форма представления результатов проверки квалификации может быть различной, охватывая широкий диапазон типов данных и предполагаемые статистические распределения. Статистические методы, используемые для анализа результатов, должны отвечать каждой конкретной задаче, и поэтому они слишком разнообразны, чтобы их можно было охарактеризовать в настоящем стандарте. В ISO 13528 приведены предпочтительные методы для каждой обсуждаемой ниже ситуации, а также установлено, что другие методы могут быть использованы до тех пор, пока они являются статистически обоснованными и полностью описанными для участников. Некоторые из методов для испытаний однородности и стабильности, приведенных в ISO 13528, незначительно изменены в техническом отчете Международного объединения по чистой и прикладной химии (IUPAC) "Международный гармонизированный протокол для проверки квалификации в аналитических химических лабораториях" [18]. Эти документы также представляют руководство по планированию и визуальному анализу данных. Другие справочные источники можно использовать для специальных типов программ проверки квалификации, например программы сличения измерений при калибровке.
Методы, обсуждаемые в этом приложении и в ссылочных документах, охватывают основные шаги, являющиеся общими почти для всех программ проверки квалификации:
a) определение приписанного значения;
b) расчет статистик функционирования;
c) оценивание характеристик функционирования, и
d) предварительное определение однородности и стабильности образцов для проверки квалификации.
В новых программах проверки квалификации вначале часто наблюдается несогласованность результатов вследствие новой проблематики, новых форм, искусственных образцов для испытаний, несогласованности методов испытаний или измерений или использования разных методик измерений. Координаторам, возможно, придется применять робастные оценки относительных характеристик функционирования (такие как процентили), до тех пор пока не улучшится согласованность. Может потребоваться усовершенствование статистических методов, после того как будет улучшена согласованность результатов участников и проверки квалификации будут признаны успешными.
Статистические методы для аналитических исследований, не связанные с обработкой данных проверок квалификации, не рассматриваются в настоящем приложении. Для этой и других представленных во введении целей применения данных межлабораторных сличений могут потребоваться другие методы обработки данных межлабораторных сличений.
B.2 Определение приписанного значения и его неопределенности
B.2.1 Существуют различные процедуры для установления приписанных значений. Большинство общих процедур приводится ниже в порядке, который в большинстве случаев приводит к возрастанию неопределенности приписанного значения. Эти процедуры включают применение:
a) известных значений, определяемых специальным составом образца для проверки квалификации (например, приготовлением или разбавлением);
b) сертифицированных эталонных значений, определяемых с помощью общепризнанных методов испытаний или измерений (для количественных испытаний);
c) эталонных значений, определяемых в ходе анализа, измерений или сличений образца для проверки квалификации с использованием стандартного образца или эталона, прослеживаемого к международному или национальному эталону;
d) согласованных значений от экспертных лабораторий, при этом эксперты (которые в некоторых случаях могут быть референтными лабораториями) должны обладать продемонстрированной компетентностью при определении измеряемых при испытаниях величин(ы) и использовать валидированные методы, обладающие наивысшей точностью и сопоставимые с методами общего применения;
e) согласованных значений от участников с использованием статистических методов, описанных в ISO 13528 и в Международном гармонизированном протоколе IUPAC, с учетом влияния выбросов.
B.2.2 Приписанные значения следует определять для объективного оценивания участников, в то же время способствуя повышению согласованности методов испытаний или измерений. Это достигается посредством выбора групп для общего сличения и использования общих приписанных значений, когда это возможно.
B.2.3 Процедуры для определения неопределенности приписанных значений приведены в ISO 13528 и в Международном гармонизированном протоколе IUPAC для каждой применяемой общей статистики (приведенной ранее в B.2.1). Дополнительная информация по неопределенности также приведена в ISO/IEC Guide 98-3.
B.2.4 Статистические методы для определения приписанного значения качественных данных (также называемых категорийными или номинальными значениями) или полуколичественных значений (также называемых порядковыми значениями) не обсуждаются в ISO 13528 и в Международном гармонизированном протоколе IUPAC. В общем случае эти приписанные значения необходимо определять посредством экспертной оценки или процедуры изготовления. В некоторых случаях провайдер проверки квалификации может использовать согласованное значение, определяемое соглашением заранее установленного процентного большинства ответов (например, 80% или более). Однако указанный процент должен быть определен на основании целей программы проверки квалификации и уровня компетенции и опыта участников.
B.2.5 Статистические выбросы обрабатываются следующим образом:
a) очевидные промахи, такие как данные с некорректными единицами измерений, ошибками в десятичном знаке, результаты, принадлежащие различным образцам для проверки квалификации, должны быть удалены из набора данных и обрабатываться отдельно. Такие результаты не должны проверяться по критерию выбросов или с помощью робастных статистических методов;
b) когда результаты участников используются для определения приписанных значений, следует использовать статистические методы, чтобы минимизировать влияние выбросов. Это может достигаться с помощью робастных статистических методов или удалением выбросов до начала выполнения расчетов. В массовых или постоянно проводимых программах проверки квалификации можно применять автоматическое отсеивание выбросов, если эффективность данного подхода подтверждена объективными данными;
c) если результаты удаляются как выбросы, то они должны быть удалены только из расчетов итоговых статистик. Выбросы должны быть оценены в рамках программы проверки квалификации, и на их основе должна быть дана соответствующая оценка характеристик функционирования.
Примечание - В ISO 13528 приведены специальные робастные методы определения согласованного среднего значения и согласованного стандартного отклонения без необходимости удаления выбросов.
B.2.6 Дополнительная информация приведена ниже:
a) если приписанные значения устанавливают по соглашению участников, то в лучшем случае провайдер проверки квалификации должен иметь процедуру для определения правильности приписанных значений и анализа распределения данных;
b) провайдер проверки квалификации должен иметь критерии для определения приемлемости приписанного значения на основании его неопределенности. В ISO 13528 и в Международном гармонизированном протоколе IUPAC предлагаются критерии, основанные на ограничении влияния, которое неопределенность приписанного значения оказывает на оценку, т.е. критерии ограничивают вероятность получения участником неприемлемой оценки из-за неопределенности приписанного значения.
B.3 Расчет статистик функционирования
B.3.1 Характеристики функционирования для количественных результатов
B.3.1.1 Результаты проверок квалификации часто необходимо преобразовывать в статистики, характеризующие функционирование, с целью их интерпретации и возможности сравнения с установленными целями. Задачей является измерение отклонения от приписанного значения таким способом, который позволяет выполнить сравнение с критериями оценки характеристик функционирования. Возможно применение как простых статистических методов, которые не требуют обработки, так и сложных методов со статистическими преобразованиями.
B.3.1.2 Статистики функционирования должны быть подходящими для интерпретации участниками. Поэтому статистики должны быть подходящими для соответствующих видов испытаний и быть понятными или общепринятыми в конкретной области.
B.3.1.3 Используемые в большинстве случаев статистики для количественных результатов приводятся ниже в порядке возрастания степени преобразования результатов участников.
a) Разность
где
b) Процентная разность
c) Количественный показатель
где
Как приведено в ISO 13528,
- соответствия уровня функционирования назначению, что определяется экспертной оценкой или документом (заданное значение);
- оценки из предыдущих туров проверки квалификации или предположений, основанных на опыте (интуиции);
- оценки из статистической модели (основная модель);
- результатов прецизионного эксперимента или
- результатов участников, т.е. обычное или робастное стандартное отклонение, основанное на результатах участников.
d) Количественный показатель
где
e) Числа
где
________________
* Формула и экспликация к ней соответствуют оригиналу. - .
Примечание 1 - Формулы в выражениях (B.4) и (B.5) являются корректными, пока
Примечание 2 - Дополнительные статистические подходы представлены в ISO 13528 и Международном гармонизированном протоколе IUPAC.
B.3.1.4 Следует принимать во внимание аспекты, приведенные ниже:
a) обычная разность между результатом участника и приписанным значением может быть достаточной для определения характеристики функционирования, и ее легче всего понимают участники. Величина
b) процентная разность не связана с величиной приписанного значения, и ее хорошо понимают участники;
c) процентили или ранги полезны для сильно рассеянных или асимметричных результатов, порядковых ответов или при ограниченном количестве различных ответов. Этот метод следует использовать осторожно;
d) преобразованные результаты могут быть предпочтительны или необходимы в зависимости от природы испытаний. Например, результаты, основанные на разбавлении, являются формой геометрического масштабирования, преобразуемого логарифмически;
e) если для определения
f) если при расчете количественных показателей рассматривают оценки неопределенности измерений, предоставленные участниками (например, при расчете показателей
B.3.2 Характеристики функционирования для качественных и полуколичественных результатов
B.3.2.1 Если используются статистические методы для обработки качественных и полуколичественных результатов, то они должны подходить для природы ответов, выдаваемых участниками. Для качественных данных (также называемых категорийными данными) подходящим способом является сравнение результата участника с приписанным значением. Если они идентичны, тогда испытание выполнено на приемлемом уровне. Если они не идентичны, то необходимо использовать экспертную оценку для определения того, подходит ли результат для использования по назначению. В некоторых случаях провайдер проверки квалификации может проанализировать результаты участников и определить, что образец для проверки квалификации не подходит для оценивания или что приписанное значение является некорректным. Такие определения должны быть частью плана для программы проверки квалификации и должны быть понятными для участников до начала выполнения программы.
B.3.2.2 Для полуколичественных результатов (также называемых порядковыми результатами) приемлема процедура, используемая для качественных данных (см. B.3.2.1). Порядковые результаты включают, например, марку или классификацию, органолептические оценки или силу химической реакции (например, 1+, 2+, 3+ и т.д.). Иногда такие результаты даются в виде чисел, например: 1=плохо, 2=неудовлетворительно, 3=удовлетворительно, 4=хорошо, 5=очень хорошо.
B.3.2.3 Неуместно рассчитывать обычные итоговые статистики для порядковых данных, даже если результаты являются численными. Это происходит из-за того, что числа не принадлежат шкале интервалов, т.е. разность между 1 и 2 в некотором смысле не может означать то же, что разность между 3 и 4, так что средние значения и стандартные отклонения не могут быть правильно истолкованы. Поэтому неуместно использовать для оценки статистики, такие как количественные показатели
B.3.2.4 Рекомендуется составить таблицу распределения результатов, полученных от всех участников (или построить диаграмму), вместе с количеством или процентным содержанием результатов в каждой категории и получить итоговые показатели, такие как моды (самые распространенные ответы) и диапазон (самый нижний и самый высший ответы). Приемлемо оценивать результаты как удовлетворительные на основании близости к приписанному значению, например результаты внутри плюс или минус один ответ по отношению к приписанному значению могут соответствовать цели измерения. В некоторых случаях может быть приемлемым оценивать характеристику функционирования, основываясь на процентилях, например 5% результатов наиболее удаленных от моды или наиболее удаленных от приписанного значения могут быть определены как недопустимые. Это должно быть основано на плане программы проверки квалификации (например, соответствие назначению) и заранее понятно участникам.
B.3.3 Комбинированные показатели для характеристик функционирования
Характеристика функционирования может оцениваться на основании более чем одного результата в одиночном туре проверки квалификации. Это происходит при наличии более чем одного образца для проверки квалификации для конкретной измеряемой величины или совокупности взаимосвязанных измеряемых величин. Это необходимо для обеспечения более полного оценивания характеристики функционирования.
Графические методы, такие как диаграмма Юдена или диаграмма
В общем случае использование усредненных показателей для характеристик функционирования не рекомендуется, так как они могут маскировать плохую характеристику функционирования на одном или более образцах для проверки квалификации, подлежащих исследованию. Наиболее распространенным комбинированным показателем для характеристик функционирования является просто количество (или процентное содержание) результатов, определенных как приемлемые.
B.4 Оценивание характеристик функционирования
B.4.1 Исходные характеристики функционирования
B.4.1.1 Критерии для оценивания характеристики функционирования должны устанавливаться после принятия во внимание того, учитывают ли способы оценивания характеристик функционирования основные особенности. Данными особенностями являются:
a) согласие между экспертами, когда консультативная группа или другие квалифицированные эксперты непосредственно определяют, соответствуют ли представленные результаты своему предполагаемому использованию; согласие экспертов - это типичный способ оценить результаты для качественных испытаний;
b) соответствие назначению, заданные критерии, которые учитывают, например, технические условия (спецификацию) для характеристик метода и признанный уровень работы участников;
c) статистическое определение показателей, т.е. когда критерии должны быть пригодными для каждого показателя; распространенные примеры применения показателей представлены ниже:
1) для количественных показателей
-
-
-
2) для чисел
-
-
B.4.1.2 Для программ с разделенной пробой цель может заключаться в выявлении в результатах неправильной калибровки и/или значительных случайных ошибок. В этих случаях оценки должны основываться на достаточном количестве результатов в широком диапазоне концентраций. Для выявления и описания этих проблем полезно использовать графические методы, приведенные в ISO 13528. Из-за проблем масштабирования следует использовать графики с откладываемыми по вертикальной оси разностями между результатами, а не диаграммы, на которые наносятся результаты одного участника относительно результатов другого участника. Ключевым является случай, когда результаты одного участника имеют или ожидается, что будут иметь низкую неопределенность измерения. В этом случае такие результаты являются лучшей оценкой действительного значения уровня измеряемой величины. Если оба участника имеют примерно одинаковую неопределенность измерений, то предпочтительной оценкой действительного значения уровня является среднее значение пары результатов.
B.4.1.3 Там, где это возможно, следует использовать графики для наглядной демонстрации характеристик функционирования (например, гистограммы, столбиковые диаграммы ошибок, диаграммы упорядоченных количественных показателей
a) распределение значений участников;
b) взаимосвязь между результатами, полученными на большом количестве образцов для проверки квалификации;
c) сравнительные распределения для различных методов.
B.4.2 Наблюдение за характеристиками функционирования по прошествии времени
B.4.2.1 Программа проверки квалификации может включать процедуры наблюдения за характеристиками функционирования по прошествии времени. Процедуры должны позволять участникам видеть изменчивость в своих характеристиках функционирования и определять, имеются ли основные тенденции или несоответствия и где характеристики функционирования изменяются случайным образом.
B.4.2.2 Для облегчения интерпретации рекомендуется использоваться графические методы. Для целей самосовершенствования особенно полезно использовать традиционные контрольные карты Шухарта. Массивы данных и итоговые статистики позволяют проводить более детальный анализ. Для этих графиков и таблиц должны использоваться стандартизованные показатели характеристик функционирования, например количественные показатели
B.4.2.3 Когда в качестве стандартного отклонения для проверки квалификации используется согласованное стандартное отклонение, следует проявить осмотрительность при наблюдении за характеристикой функционирования по прошествии времени, так как группа участников может измениться, что окажет непредсказуемое воздействие на показатели. Также характерным свойством межлабораторного стандартного отклонения является тенденция к его уменьшению по прошествии времени, так как участники хорошо осваивают программу проверки квалификации или улучшается методология. Это может быть причиной явного увеличения значений показателей
B.5 Демонстрация однородности и стабильности образцов для проверки квалификации
B.5.1 Настоящий стандарт требует демонстрации достаточной однородности образцов для проверки квалификации с помощью обоснованных статистических методов, включая статистически случайную выборку репрезентативного количества проб. Соответствующие процедуры детально изложены в ISO 13528 и в Международном гармонизированном протоколе IUPAC. Эти документы определяют достаточную однородность относительно интервала оценивания для программы проверки квалификации, поэтому рекомендации основаны на допущениях, связанных с неопределенностью из-за неоднородности относительно интервала оценивания. В то время как ISO 13528 устанавливает строгий предел по неоднородности и нестабильности для ограничения влияния на неопределенность и, следовательно, влияния, которое они оказывают на получаемые оценки, Международный гармонизированный протокол IUPAC расширяет условия выполнения статистической проверки оценки неоднородности и нестабильности относительно критерия, рекомендованного в ISO 13528.
B.5.2 Требования, представленные в ISO Guide 34 и ISO Guide 35, которые разработаны для оценки эталонных значений сертифицированных стандартных образцов, включая их неопределенности, определяются реализацией различных задач. ISO Guide 35 использует статистический дисперсионный анализ для оценивания изменчивости между колбами и изменчивости внутри колб (если требуется) и последующего использования этих дисперсий в качестве составляющих неопределенности приписанного значения. Если требуется точно оценить составляющие неопределенности для сертифицированных стандартных образцов, количество случайно отобранных проб может быть больше того, которое необходимо для проверки квалификации, где главной целью является проверка непредвиденных несоответствий в партиях образцов, изготовленных для проверки квалификации.
B.5.3 Стабильность проверяется для гарантии того, что измеряемая величина(ы) не изменилась во время тура проверки квалификации. Как определено в ISO 13528, Международном гармонизированном протоколе IUPAC и ISO Guide 35, образцы для проверки квалификации должны проверяться в различных условиях, которые встречаются при нормальном ходе проведения программы проверки квалификации, т.е. в условиях отгрузки и перевозки при распределении участникам. Критерием для допустимой нестабильности служит такой же критерий, как и для неоднородности в соответствии с ISO 13528, обычно предполагающий небольшое количество испытаний или измерений.
Приложение C
(справочное)
Выбор и применение проверок квалификации
C.1 Общие положения
В настоящем приложении установлены принципы выбора и использования программ проверки квалификации участниками и другими заинтересованными сторонами. Приложение также предназначено для содействия гармонизированному применению программ проверки квалификации заинтересованными сторонами (например, органами по аккредитации, органами государственной власти или заказчиками участника).
Так как результаты программ проверки квалификации могут использоваться для оценки характеристик функционирования участника, важно, чтобы заинтересованные стороны и участники доверяли разработке и проведению программ проверки квалификации.
Для участников также важно иметь четкое понимание политики заинтересованных сторон в отношении участия в таких программах проверки квалификации, критериев, которые они используют для принятия решения об успешном участии в программах проверки квалификации, их политике и процедурах для отслеживания любых неудовлетворительных результатов, полученных в туре проверки квалификации. Однако кроме специальных требований органов государственного управления существует ответственность участников по самостоятельному выбору подходящей программы проверки квалификации и правильной оценке своих результатов.
Следует отметить, что заинтересованные стороны также принимают во внимание пригодность результатов испытаний, получаемых не только в рамках программ проверки квалификации, но и, например, результаты внутреннего контроля качества участников, выполняемого с помощью контрольных проб, сличения с данными других участников, полученными по разделенной пробе, и выполнение испытаний с использованием сертифицированных стандартных образцов. Поэтому, выбирая программу проверки квалификации, участники также должны принимать во внимание другие виды деятельности по контролю качества, которые являются доступными или уже выполнены.
C.2 Выбор программ проверки квалификации
C.2.1 Лаборатории (и другие типы участников) нуждаются в выборе программ проверки квалификации, которые являются подходящими для их области испытаний или области калибровки. Выбираемые программы проверки квалификации должны удовлетворять требованиям настоящего стандарта.
C.2.2 При выборе программы проверки квалификации должны учитываться следующие факторы:
a) испытания, измерения или калибровки, используемые в программе проверки квалификации, должны согласовываться с видами испытаний, измерений или калибровок, выполняемых участниками;
b) доступность для заинтересованных сторон подробной информации относительно проекта программы, процедур для установления приписанных значений, инструкций для участников, статистической обработки данных и окончательного итогового отчета;
c) периодичность проведения программы проверки квалификации;
d) приемлемость логистических мероприятий для программы проверки квалификации (например, время, месторасположение, анализ стабильности проб, мероприятия по распределению), предлагаемых для группы участников;
e) пригодность приемочного критерия (т.е. для принятия решения о получении удовлетворительной характеристики функционирования в проверках квалификации);
f) расходы;
g) политика провайдера проверки квалификации по соблюдению конфиденциальности в отношении участников;
h) срок для представления результатов и для выполнения анализа данных о характеристиках функционирования;
i) характеристики, которые обеспечивают доверие к образцам для проверки квалификации (например, однородность, стабильность и, где необходимо, метрологическая прослеживаемость к национальным и международным эталонам);
j) соответствие программы настоящему стандарту.
Примечание - Некоторые программы проверки квалификации могут включать испытания, которые не полностью соответствуют испытаниям, проводимым участником (например, использование другого национального эталона для одного и того же определения величины), но существует возможность технически обосновать участие в программе проверки квалификации, если методы обработки данных позволяют учесть любые существенные различия в методологии испытаний или другие факторы.
C.3 Политика участия в программах проверки квалификации
C.3.1 Если необходимо, заинтересованные стороны должны документировать свои политики участия в программах проверки квалификации; такие документированные политики должны быть публично доступны для лабораторий и других заинтересованных сторон.
C.3.2 Вопросы, которые должны быть учтены политикой участия в определенных программах проверки квалификации, включают:
a) является ли участие в определенной программе проверки квалификации добровольным или обязательным;
b) периодичность участия;
c) критерии, используемые заинтересованной стороной для принятия решения о том, является ли характеристика функционирования удовлетворительной или неудовлетворительной;
d) необходимость участия лаборатории в следующей программе, если характеристика функционирования признается неудовлетворительной;
e) как результаты проверок квалификации будут использоваться при оценивании функционирования и последующих решениях;
f) подробности политики заинтересованной стороны по сохранению конфиденциальности участников.
C.4 Использование проверок квалификации участниками
C.4.1 Участники должны делать собственные выводы о характеристике своего функционирования на основании оценки организации и проекта программы проверки квалификации. Анализ должен учитывать степень соответствия программы проверки квалификации потребностям заказчиков участника. Информация, которая должна приниматься во внимание, включает:
a) происхождение и характеристики образцов для проверки квалификации;
b) применяемые методы испытаний или измерений и, если возможно, приписанные значения для конкретных методов испытаний и измерений;
c) организацию программы проверки квалификации (например, статистические расчеты, количество повторных измерений, измеряемые величины, способ выполнения);
d) критерии, используемые провайдером проверки квалификации для оценивания характеристик функционирования участника;
e) любые дополнительные требования, относящиеся к выполняемым процедурам: аккредитация, законодательные процедуры и др.
C.4.2 Участники должны вести собственные записи о результатах участия в проверках квалификации, включая выводы, сделанные на основании анализа любых неудовлетворительных результатов, и любые последующие корректирующие и предупреждающие действия.
C.5 Использование результатов заинтересованными сторонами
C.5.1 Органы по аккредитации
C.5.1.1 Требования к органам по аккредитации в отношении применения проверок квалификации определены в ISO/IEC 17011:2004 (см. пункт 7.15).
Примечание - Политика в отношении проверок квалификации, относящаяся к соответствию органов по аккредитации требованиям членства в Соглашении о взаимном признании ILAC, определена в ILAC Р-9.
C.5.1.2 Результаты программ проверки квалификации полезны как для участников, так и для органов по аккредитации. Однако существуют ограничения по применению таких результатов для оценки компетенции. Успешное участие в определенной программе проверки квалификации может представлять собой доказательство компетенции именно для конкретного задания, но может и не отражать постоянную компетенцию. Аналогичным образом неуспешное участие в определенной программе проверки квалификации может отражать случайное отклонение от нормального состояния компетенции участника. Поэтому проверки квалификации не должны являться единственным инструментом, применяемым органами по аккредитации в своих процессах аккредитации.
C.5.1.3 Для участников, представляющих неудовлетворительные результаты, органы по аккредитации должны иметь политику, которая:
a) гарантирует, что участники исследуют и комментируют свои характеристики функционирования в течение оговоренного времени и предпринимают соответствующие корректирующие действия;
b) гарантирует (если необходимо), что участники берут на себя обязательство участвовать в последующих проверках квалификации для подтверждения того, что любые предпринятые ими корректирующие действия являются эффективными, и
c) гарантирует (если необходимо), что для подтверждения эффективности корректирующих действий оценивание участников на местах выполняется соответствующими техническими экспертами-консультантами.
C.5.1.4 Органы по аккредитации должны консультировать свои аккредитованные субъекты о возможных последствиях неудовлетворительного участия в программе проверки квалификации. Это может быть как продление области аккредитации в случае успешного рассмотрения выполненных в течение оговоренного времени корректирующих действий, так и временное приостановление аккредитации для соответствующих видов испытаний (предмет для корректирующих действий) и даже отмена аккредитации для соответствующих видов испытаний.
Примечание - Возможные варианты действий, выбираемые органом по аккредитации, будут зависеть от картины изменения характеристик функционирования участника с течением времени и от новых оценок на местах.
C.5.1.5 Органы по аккредитации должны иметь политику для обеспечения обратной связи с аккредитованными субъектами в отношении действий, предпринимаемых на основании результатов программ проверки квалификации, особенно для случаев неудовлетворительного участия.
C.5.2 Другие заинтересованные стороны
C.5.2.1 Участники могут нуждаться в демонстрации своей компетенции другим заинтересованным сторонам, таким как заказчики или субподрядчики. Результаты проверок квалификации, так же как и другие действия по контролю качества, могут быть использованы для демонстрации компетенции, однако не являются единственным способом.
Примечание - Данные проверок квалификации, используемые для подтверждения заявлений о компетенции, обычно применяются организациями в сочетании с другим доказательством, таким как аккредитация. См. C.5.1.2.
C.5.2.2 Участники несут ответственность за обеспечение всей соответствующей информацией заинтересованных сторон, желающих оценить участников в отношении их компетентности.
C.6 Использование проверок квалификации органами государственного управления
C.6.1 Результаты программ проверки квалификации полезны для органов государственного управления, которым требуется оценить характеристики функционирования участников в законодательно регулируемых областях.
C.6.2 Если программа проверки квалификации проводится органом государственного управления, то она должна выполняться в соответствии с требованиями настоящего стандарта.
C.6.3 Органы государственного управления, которые привлекают к работе независимых провайдеров проверки квалификации, должны:
a) получить документальное подтверждение того, что программы проверки квалификации удовлетворяют требованиям настоящего стандарта до принятия решения об их использовании, и
b) обсудить с участниками область и особенности выполнения программы проверки квалификации, с тем чтобы характеристика функционирования участника могла быть компетентно оценена в отношении соответствующих требований.
Приложение ДА
(справочное)
Сведения о соответствии ссылочных международных стандартов межгосударственным стандартам
Таблица ДА.1
Обозначение ссылочного международного стандарта | Степень соответствия | Обозначение и наименование соответствующего межгосударственного стандарта |
ISO/IEC 17000:2004 | IDT | ГОСТ ISO/IEC 17000-2012 "Оценка соответствия. Словарь и общие принципы" |
ISO/IEC Guide 99:2007 | - | * |
* Соответствующий межгосударственный стандарт отсутствует. До его принятия рекомендуется использовать перевод на русский язык данного международного стандарта. Примечание - В настоящей таблице использовано следующее условное обозначение степени соответствия стандартов: - IDT - идентичный стандарт. | ||
Библиография
[1] | ISO/IEC Guide 98-3:2008/Suppl. 2:2011 | Uncertainty of measurement - Part 3: Guide to the expression of uncertainty in measurement (GUM: 1995) [Неопределенность измерения. Часть 3. Руководство по выражению неопределенности в измерениях (GUM:1995)] |
[2] | ISO/IEC 17011:2004 | Conformity assessment - General requirements for accreditation bodies accrediting conformity assessment bodies (Оценка соответствия. Общие требования к органам по аккредитации органов по оценке соответствия) |
________________ | ||
[3] | ISO/IEC 17025:2005 | General requirements for the competence of testing and calibration laboratories (Общие требования к компетентности испытательных и калибровочных лабораторий) |
________________ | ||
[4] | ISO 3534-1:2006 | Statistics - Vocabulary and symbols - Part 1: General statistical terms and terms used in probability (Статистика. Словарь и условные обозначения. Часть 1. Общие статистические термины и термины, используемые при расчете вероятностей) |
[5] | ISO 5725-1:1994 | Accuracy (trueness and precision) of measurement methods and results - Part 1: General principles and definitions [Точность (правильность и прецизионность) методов и результатов измерений. Часть 1. Общие принципы и определения] |
[6] | ISO 5725-2:1994 | Accuracy (trueness and precision) of measurement methods and results - Part 2: Basic method for the determination of repeatability and reproducibility of a standard measurement method [Точность (правильность и прецизионность) методов и результатов измерений. Часть 2. Основной метод определения повторяемости и воспроизводимости стандартного метода измерений] |
________________ | ||
[7] | ISO 5725-4:1994 | Accuracy (trueness and precision) of measurement methods and results - Part 4: Basic methods for the determination of the trueness of a standard measurement method [Точность (правильность и прецизионность) методов и результатов измерений. Часть 4. Основной метод определения правильности стандартного метода измерений] |
________________ | ||
[8] | ISO 13528:2005 | Statistical methods for use in proficiency testing by interlaboratory comparisons (Статистические методы, применяемые при проверке технической компетентности лабораторий посредством межлабораторных сличений) |
________________ | ||
[9] | ISO 15189:2009 | Medical laboratories - Particular requirements for quality and competence (Лаборатории медицинские. Частные требования к качеству и компетенции) |
________________ | ||
[10] | ISO Guide 34:2009 | General requirements for the competence of reference material producers (Общие требования к компетенции производителей эталонных материалов) |
________________ | ||
[11] | ISO Guide 35:2006 | Reference materials - General and statistical principles for certification (Стандартные образцы. Общие и статистические принципы для сертификации) |
________________ | ||
[12] | ISO/TS 21748:2010 | Guide to the use of repeatability, reproducibility and trueness estimates in measurement uncertainty estimation (Руководство по применению оценок повторяемости, воспроизводимости и точности при определении неопределенности измерения) |
________________ | ||
[13] | EN 14136:2004 | Use of external quality assessment schemes in the assessment of the performance of in vitro diagnostic examination procedures (Использование программ внешней оценки качества при оценивании выполнения диагностических процедур анализа в лабораторных условиях) |
[14] | ASTM Е1301-95 | Standard Guide for Proficiency Testing by Interlaboratory Comparisons A (Стандартное руководство для проверки квалификации, выполняемой посредством межлабораторных сличений) |
[15] | Standards for EQA schemes in laboratory medicine. Version 4.02, December 2004. Clinical Pathology Accreditation (UK) Ltd. Sheffield, UK [Стандарты для программ внешней оценки качества (EQA) в лабораторной медицине] | |
[16] | National Occupational Standards for External Quality Assessment, HCS-EQA1 to HCS-EQA12. Competence Framework for Healthcare Science. (www.skillsforhealth.org.uk) (Национальный профессиональный стандарт для внешней проверки качества, от HCS-EQA1 до HCS-EQA12. Структура компетентных данных для медицинской науки) | |
[17] | EURACHEM/CITAC Guide CG4, Quantifying Uncertainty in Analytical Measurement, 2nd edition, 2000 (Количественное выражение неопределенности в аналитических измерениях) | |
[18] | Thompson M., Ellison S.L.R., Wood R. The International Harmonized Protocol for the proficiency testing of analytical chemistry laboratories (IUPAC Technical Report), in Pure and Applied Chemistry, Vol. 78, No. 1, p. 145-196, 2006 [Международный гармонизированный протокол для проверки квалификации в аналитических химических лабораториях (технический отчет IUPAC)] | |
[19] | ILAC Р-9:2005, ILAC Policy for Participation in National and International Proficiency Testing Activities (Политика ILAC для участия в национальной и международной деятельности по проверкам квалификации) | |
[20] | ILAC Р10:01/2013, ILAC Policy on Traceability of Measurement Results (Политика ILAC по прослеживаемости результатов измерений) | |
УДК 006.063(083.74)(476) | МКС 03.120.20 | |
Ключевые слова: компетентность, провайдер проверки квалификации, программа проверки квалификации, метрологическая прослеживаемость, неопределенность измерения | ||
Электронный текст документа
и сверен по:
, 2020
