ГОСТ Р ИСО/МЭК 19795-6-2015 Информационные технологии. Биометрия. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 6. Методология проведения оперативных испытаний

ГОСТ Р ИСО/МЭК 19795-6-2015

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Информационные технологии

БИОМЕТРИЯ

Эксплуатационные испытания и протоколы испытаний в биометрии

Часть 6

Методология проведения оперативных испытаний

Information technology. Biometrics. Biometric performance testing and reporting. Part 6. Testing methodologies for operational evaluation

ОКС 35.040

Дата введения 2016-07-01

Предисловие

1 ПОДГОТОВЛЕН Научно-исследовательским и испытательным центром биометрической техники Московского государственного технического университета имени Н.Э.Баумана (НИИЦ БТ МГТУ им.Н.Э.Баумана) на основе собственного аутентичного перевода на русский язык международного стандарта, указанного в пункте 4

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 098 "Биометрия и биомониторинг"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 15 июня 2015 г. N 717-ст

4 Настоящий стандарт идентичен международному стандарту ИСО/МЭК 19795-6:2012* "Информационные технологии. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 6. Методология проведения оперативных испытаний" (ISO/IEC 19795-6:2012 "Information technology - Biometric performance testing and reporting - Part 6: Testing methodologies for operational evaluation").
________________
* Доступ к международным и зарубежным документам, упомянутым здесь и далее по тексту, можно получить, перейдя по ссылке на сайт . - .


Наименование настоящего стандарта изменено относительно наименования указанного международного стандарта для приведения в соответствие с ГОСТ Р 1.5-2012 (подраздел 3.5).

При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных стандартов соответствующие им национальные стандарты, сведения о которых приведены в дополнительном приложении ДА

5 ВВЕДЕН ВПЕРВЫЕ

6 Некоторые элементы настоящего стандарта могут быть объектами патентных прав. Организации ИСО и МЭК не несут ответственности за установление подлинности каких-либо или всех таких патентных прав


Правила применения настоящего стандарта установлены в ГОСТ Р 1.0-2012 (раздел 8). Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)

Введение

Введение

Оперативные испытания проводят с целью проверки биометрических систем в рабочих условиях с использованием целевой выборки. Оперативные испытания могут включать в себя наблюдение за эксплуатационными характеристиками рабочих биометрических систем или оценку эксплуатационных характеристик при проведении оперативных испытаний.

Оперативная оценка эксплуатационных характеристик может основываться:

- на данных, собранных рабочей биометрической системой в штатном режиме работы;

- дополнительных данных, собранных при использовании рабочей биометрической системы в "оценочном режиме", который позволяет получать дополнительные данные;

- данных, собранных при помощи набора испытуемых субъектов, не входящих в базу субъектов рабочей биометрической системы.

Оперативное испытание отличается от технологического и сценарного испытаний тем, что база субъектов, внешние условия и конструкция биометрической системы больше не контролируются с целью реализации воспроизводимых испытаний, а изменяются в соответствии с использованием биометрической системы в рабочем режиме. Примеры неконтролируемых изменений включают в себя правомерность идентификационного утверждения субъекта, влияние внешних факторов погоды и освещения или вариативность биометрической системы, связанную с ее использованием разными лицами.

Основной целью оперативного испытания является измерение или наблюдение за эксплуатационными характеристиками биометрической системы в течение периода времени.

Промежуточными целями оперативного испытания могут являться:

- определение соответствия эксплуатационных характеристик требованиям, установленным для конкретного приложения, или свойствам, заявленным изготовителем;

- определение необходимости настройки или корректировки биометрической системы для улучшения эксплуатационных характеристик;

- прогнозирование эксплуатационных характеристик при увеличении числа субъектов, месторасположений или числа биометрических сканеров;

- получение информации о целевой выборке и параметрах окружающей среды, влияющих на эксплуатационные характеристики биометрической системы;

- получение данных эксплуатационных характеристик после пробного внедрения;

- получение данных эксплуатационных характеристик для проверки проектируемых систем.

Настоящий стандарт предназначен для планирования, проведения и протоколирования оперативных испытаний, измерения эксплуатационных характеристик, а также записи требований с целью их соблюдения во время проведения оперативных испытаний биометрических систем.

ИСО/МЭК 19795-6 подготовлен подкомитетом N 37 "Биометрия" совместного технического комитета N 1 ИСО/МЭК "Информационные технологии" (ISO/IEC JTC 1/SC 37).

1 Область применения

Настоящий стандарт предусматривает:

- руководства для оперативных испытаний биометрических систем;

- определение показателей эксплуатационных характеристик для оперативных испытаний;

- подробное описание данных, которые могут быть получены рабочими биометрическими системами для обеспечения наблюдения за эксплуатационными характеристиками;

- требования к методам оперативных испытаний, записи данных и протоколированию результатов оперативных испытаний.

Примечание - Некоторые рабочие биометрические системы выполняют единственную биометрическую функцию. Например, на начальных стадиях внедрения биометрических паспортов рабочая биометрическая система могла выполнять только биометрическую регистрацию. Оперативные испытания таких биометрических систем приведены в настоящем стандарте.


Настоящий стандарт не рассматривает:

- испытание рабочих биометрических систем в лаборатории;

- испытание на уязвимость биометрической системы.

2 Соответствие

Оперативное испытание соответствует настоящему стандарту, если оно спланировано, выполнено и занесено в протокол испытания в соответствии с требованиями, установленными в разделе 6.

3 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты*, которые необходимо учитывать при его использовании. В случае датированных ссылок необходимо пользоваться только указанной редакцией. В случае недатированных ссылок следует пользоваться последней редакцией ссылочных документов, включая любые поправки и изменения к ним.
_______________
* Таблицу соответствия национальных стандартов международным см. по ссылке. - .


ИСО/МЭК 19795-1 Информационные технологии. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 1. Принципы и структура (ISO/IEC 19795-1, Information technology - Biometric performance testing and reporting - Part 1: Principles and framework)

4 Термины и определения

В настоящем стандарте применены термины по ИСО/МЭК 19795-1, а также следующие термины с соответствующими определениями:

4.1 акклиматизация (acclimatization): Изменение биометрической характеристики (в течение одной или более транзакций), которое может повлиять на способность биометрической системы обрабатывать биометрический образец.

Примечание - Акклиматизация в первую очередь связана с временной адаптацией субъекта к особенностям окружающей среды, например изменениям температуры кожи.

4.2 обслуживающее лицо (attendant): Представитель оператора биометрической системы, непосредственно взаимодействующий с субъектом сбора биометрических данных.

4.3 субъект сбора биометрических данных (biometric capture subject): Индивид, который является субъектом процесса сбора биометрических данных.

4.4 субъект биометрических данных (biometric data subject): Индивид, чьи персонализированные биометрические данные находятся в биометрической системе.

4.5 биометрическая проба (biometric probe): Биометрические данные, служащие входными для алгоритма сравнения с биометрическим контрольным шаблоном (биометрическими контрольными шаблонами).

4.6 эксплуатационный персонал биометрической системы (biometric operational personnel): Люди, за исключением субъектов сбора биометрических данных, принимающие активное участие в работе биометрической системы.

Примечание - Эксплуатационный персонал биометрической системы включает в себя администраторов биометрической системы, обслуживающих лиц и специалистов по проведению испытаний (испытателей).

4.7 администратор биометрической системы (biometric system administrator): Человек, выполняющий заданный порядок действий и методику администрирования биометрической системы.

4.8 оператор биометрической системы (biometric system operator): Организация, ответственная за определение порядка действий и методики работы биометрической системы.

4.9 биометрический контрольный шаблон (biometric reference): Один или более хранимых биометрических образцов, биометрических шаблонов или биометрических моделей, связанных с субъектом биометрических данных и используемых для сравнения.

4.10 предельное число попыток сравнения (comparison attempt limit): Максимальное число или максимальная продолжительность попыток сравнения.

4.11 предельное число попыток биометрической регистрации (enrolment attempt limit): Максимальное число попыток или максимальная продолжительность попытки биометрической регистрации.

4.12 навыки (habituation): Уровень знаний испытуемого субъекта о биометрическом сканере, системе или приложении.

Примечание - Навык может влиять на представление биометрического образца и биометрический сканер.

4.13 база субъектов (subject base): Группа людей, биометрические данные которых предполагается использовать для биометрической регистрации или сравнения в ходе использования рабочей биометрической системы.

4.14 вероятность допуска системы (system acceptance rate): Доля транзакций распознавания рабочей биометрической системы, в которых субъект был распознан.

Примечания

1 Хотя допуск "самозванца" является некорректным распознаванием, он все равно может считаться допуском биометрической системы.

2 Вероятность допуска биометрической системы =1 - вероятность недопуска биометрической системы.

4.15 вероятность идентификации системы (system identification rate): Доля транзакций идентификации рабочей биометрической системы, в которых идентифицированы один или несколько субъектов.

4.16 вероятность недопуска системы (system rejection rate): Доля транзакций распознавания рабочей биометрической системы, в которых субъект не был распознан.

Примечание - Вероятность недопуска биометрической системы отличается от вероятности ложного недопуска тем, что в дополнение к ложным недопускам она также включает в себя любую транзакцию недопуска "самозванца" и некорректную транзакцию "подлинного лица".

4.17 член испытуемой группы (test crew member): Выбранный субъект биометрических данных, чье взаимодействие с рабочей биометрической системой контролируется или отслеживается в рамках испытания.

Примечание - В оперативном испытании испытуемые субъекты могут быть субъектами рабочей биометрической системы или членами испытуемой группы, использующими биометрическую систему исключительно для испытательных целей.

5 Обзор оперативных испытаний

5.1 Цели оперативного испытания

Основной целью оперативного испытания является измерение или наблюдение за эксплуатационными характеристиками рабочей биометрической системы.

Промежуточными целями оперативного испытания могут быть:

- определение соответствия эксплуатационных характеристик требованиям, установленным для конкретного приложения, или свойствам, заявленным изготовителем;

- определение необходимости настройки или корректировки биометрической системы для улучшения эксплуатационных характеристик;

- прогнозирование эксплуатационных характеристик при увеличении числа субъектов, месторасположений или числа биометрических сканеров;

- получение информации о целевой выборке и параметрах окружающей среды, влияющих на эксплуатационные характеристики биометрической системы;

- получение значений эксплуатационных характеристик после пробного внедрения;

- получение значений эксплуатационных характеристик для проверки проектируемых биометрических систем.

Оперативное испытание рассматривает как качество работы людей, так и эксплуатационные характеристики оборудования, алгоритмов и окружающей среды. Следовательно, оперативные испытания учитывают в дополнение к естественным и социальные аспекты, в то время как технологические испытания этого не учитывают. В общем случае рабочие эксплуатационные характеристики будут изменяться с течением времени вследствие человеческого фактора и неподдающихся контролю параметров оборудования и условий окружающей среды. Например, если большинство субъектов регистрируется в начале испытаний, то после нескольких новых биометрических регистраций эксплуатационные характеристики биометрической системы могут улучшиться в связи с появлением навыка у субъекта или стать хуже из-за старения биометрических характеристик субъекта с течением времени по сравнению с зарегистрированным биометрическим контрольным шаблоном.

Эксплуатационные характеристики, наблюдаемые во время оперативного испытания, могут зависеть от эксплуатационного персонала биометрической системы, а именно от обслуживающих лиц или специалистов по биометрическим испытаниям, также как и от субъектов биометрических данных. Факторы, зависящие от эксплуатационного персонала биометрической системы, должны быть учтены во всех аспектах оперативного испытания, начиная от определения области до протоколирования (см. [1] и [2]).

5.2 Рабочие эксплуатационные характеристики

Показатели распознавания для оперативных испытаний отличаются от показателей, используемых в технологических и сценарных испытаниях. В технологических и сценарных испытаниях могут быть измерены вероятности ложного допуска и ложного недопуска, поскольку испытателям известны основополагающие истинные данные. При рабочих настройках в общем случае истинные данные неизвестны, таким образом, оперативные испытания будут измерять вероятности допуска и недопуска биометрической системы.

Определение вероятностей ложного допуска и ложного недопуска из числа допусков и недопусков биометрической системы требует дополнительных наблюдений или контроля с целью определения правомерности идентификационных утверждений субъекта и взаимодействия с биометрическим сканером. Аналогичным образом для биометрических систем идентификации определение вероятности ошибки идентификации из числа идентификаций системы также требует дополнительных наблюдений или контроля.

При определении эксплуатационных характеристик в технологических и сценарных испытаниях часто исключаются недопуски, в которых субъект не предоставил идеальное представление или неправильно следовал инструкциям. В оперативных испытаниях измерение вероятности недопуска биометрической системы включает в себя недопуски такого рода.

5.3 Методы проведения оперативных испытаний

Оценка рабочих эксплуатационных характеристик основана на данных, полученных из рабочей биометрической системы. Биометрическая система может быть настроена на "режим испытания" для сбора дополнительных данных во время работы биометрической системы в штатном рабочем режиме.

Оценка рабочих эксплуатационных характеристик может быть основана на различных группах испытуемых субъектов:

- данные, полученные при помощи неконтролируемого набора испытуемых субъектов (то есть набор испытуемых субъектов, отражающих базу субъектов рабочей биометрической системы);

- данные, полученные при помощи контролируемого набора испытуемых субъектов, определенных в качестве "членов испытуемой группы" (то есть набор испытуемых субъектов, наблюдаемых и контролируемых отдельно от базы субъектов рабочей биометрической системы).

Если испытуемая группа была специально проинструктирована о работе биометрической системы, можно ожидать, что результаты оперативного испытания будут отличаться от результатов, полученных при рабочем использовании биометрической системы. Рабочие эксплуатационные характеристики могут существенно изменяться во времени из-за неконтролируемых изменений, связанных с задействованными людьми, оборудованием и окружающей средой. Изменения эксплуатационных характеристик в разных состояниях не могут быть предсказаны.

5.4 Определение рабочих эксплуатационных характеристик

Оценка эксплуатационных характеристик может быть проведена по данным работы биометрической системы минимум тремя способами:

- прямым наблюдением показателей пропускной способности, вероятностей допуска и/или недопуска;

- вычислением в режиме отложенного задания показателей пропускной способности и вероятностей допуска и недопуска, основанных на результатах сравнения и временных метриках, зарегистрированных во время работы;

- вычислением в режиме отложенного задания результатов сравнения и вероятностей допуска и недопуска, основанных на полученных во время оперативного испытания биометрических образцах или данных хранимых биометрических контрольных шаблонов.

Каждый подход может выдавать различные показатели. Кроме того, каждый подход несет разные риски ошибок расчета. К примеру, при регистрации только прямых наблюдений биометрической системы контроля доступа невозможно обнаружить, что являлось причиной недопуска: биометрическая ошибка или ошибка работы пропускного пункта; при регистрации только результатов сравнения невозможно отследить случаи, когда биометрический контрольный шаблон или биометрическая проба были некорректно сохранены или переданы.

5.5 Использование методологий технологического и сценарного испытаний при испытании рабочих биометрических систем

В дополнение к испытаниям, основанным на использовании биометрической системы в реальном рабочем режиме, сценарные и технологические испытания (ИСО/МЭК 19795-2 [3]) тоже могут играть роль при определении некоторых рабочих эксплуатационных характеристик.

Оперативные испытания, проводимые исключительно в ходе непосредственной работы биометрической системы, не всегда позволяют измерить все рабочие эксплуатационные характеристики. В зависимости от целей оперативного испытания определенные эксплуатационные характеристики могут быть измерены только при проведении специальных испытаний. Оперативные испытания, проводимые в ходе непосредственной работы, не дают гарантии того, что рабочая биометрическая система будет работать при заданных условиях или с достаточной частотой для получения статистически достоверных результатов. Кроме того, во время оперативного испытания отделить данные эффекты от других эксплуатационных факторов, которые также влияют на эксплуатационные характеристики, может оказаться невозможным.

Пример - Факторы окружающей среды, такие как солнечный свет или влажность, могут влиять на эксплуатационные характеристики датчика. Если измерение эксплуатационных характеристик биометрической системы не проводят в конкретных условиях окружающей среды, то невозможно провести количественную оценку влияния таких факторов на рабочие эксплуатационные характеристики.

6 Оперативное испытание

6.1 Цели и задачи

6.1.1 Общие положения

Цели и задачи оперативного испытания должны быть определены до составления плана его проведения. Должны быть рассмотрены следующие элементы:

- критерии включения биометрической системы;

- спецификация биометрической системы;

- возможности биометрической регистрации и сравнения;

- значимые эксплуатационные характеристики.

6.1.2 Критерий включения биометрической системы

Испытатель должен учесть критерии включения биометрической системы (биометрических систем) в оперативное испытание. Биометрические системы могут быть включены в оперативное испытание, если они были уже заблаговременно развернуты благодаря выбору со стороны оператора биометрической системы или испытательной организации.

Примечание - Оперативное испытание нескольких независимых биометрических систем может исказить результаты испытания. Поэтому, если необходимо провести значимые сравнения, некоторые элементы оперативного испытания контролируют без риска оперативной значимости испытания [4].

6.1.3 Спецификация биометрической системы

Особенности испытуемой биометрической системы должны быть указаны как можно более подробно. Должны быть описаны следующие элементы:

- для устройств сбора биометрических данных (или биометрических сканеров): наименование изготовителя, модель, номер версии и номер прошивки (при наличии). Если основные компоненты биометрического сканера интегрированы в устройство стороннего изготовителя (например, в случае биометрического сканера отпечатков пальцев, входящего в состав периферийного устройства), то должны быть указаны: наименование изготовителя, модель, номер версии и номер прошивки основных компонентов устройства сбора данных, а также аналогичные элементы периферийного устройства;

- биометрических алгоритмов: наименование разработчика, номер версии и номер сборки, а также значения всех переменных параметров или настроек. Биометрические алгоритмы включают в себя алгоритмы оценки качества, извлечения биометрических признаков, предварительного отбора, сравнения и обобщения. Алгоритмы могут быть предоставлены разными разработчиками;

- если рабочая биометрическая система содержит биометрическое приложение, такое как интерфейс логического доступа, необходимо указать наименование разработчика, название, номер версии и номер сборки приложения;

- для биометрических систем, испытываемых при помощи персональных компьютеров, карманных персональных компьютеров или других вычислительных устройств: платформа, операционная система, вычислительная мощность, память, наименование изготовителя и модель вычислительного устройства;

- детализация системной архитектуры и потока данных между компонентами сбора, обработки и хранения биометрических данных;

- поток данных между компонентами биометрической системы;

- конфигурация биометрической системы (например, в случае обновления биометрического контрольного шаблона: использует ли биометрическая система единственный биометрический контрольный шаблон для всех попыток сравнения или обновление биометрического контрольного шаблона происходит после каждой удачной попытки сравнения).

6.1.4 Биометрические функциональные возможности

При оперативных испытаниях рабочих биометрических систем подвергающиеся испытаниям биометрические функциональные возможности (то есть биометрическая регистрация, верификация или идентификация) должны соответствовать данной биометрической системе. При оперативных испытаниях биометрических систем, развернутых с целью проведения оперативного испытания, испытатель должен установить, какие функциональные возможности необходимо привести в действие и испытать. Необходимо предоставить обоснование выбора компонентов для оперативного испытания функциональных возможностей.

Примечание - Оперативное испытание может объединять функции идентификации и верификации, если, например, данные используют для выполнения поиска по особым спискам и для верификации по существующей биометрической регистрации.

6.1.5 Эксплуатационные характеристики

Эксплуатационные характеристики, относящиеся к оперативным испытаниям:

- показатели пропускной способности для транзакций биометрической регистрации и распознавания;

- вероятность отказа биометрической регистрации;

- вероятность недопуска биометрической системы (в биометрических системах верификации);

- вероятность идентификации биометрической системы (в биометрических системах идентификации);

- вероятность ложного допуска и вероятность ложного недопуска (в биометрических системах верификации, когда в ходе испытания можно установить истинную информацию);

- вероятность ложноположительной идентификации и вероятность ложноотрицательной идентификации (в биометрических системах идентификации, когда в ходе испытания можно установить истинную информацию).

Принципы определения и протоколирования указанных эксплуатационных характеристик представлены в 6.4. Кроме того, испытатели могут задавать любые специальные эксплуатационные характеристики, которые будут созданы при проведении оперативного испытания. В приложении А приведен список допустимых эксплуатационных характеристик.

6.2 Характеристики приложения

6.2.1 Общие положения

Характеристики приложения должны быть рассмотрены с целью планирования данных для сбора в ходе оперативного испытания, которые будут характерны для рабочего режима использования. Должны быть рассмотрены следующие элементы:

- принцип выполнения операций;

- руководство пользователя и инструкции;

- уровень затрачиваемых усилий и порядок действий по принятию решений;

- использование нескольких экземпляров биометрических характеристик;

- окружающая среда;

- факторы размещения;

- акклиматизация;

- навыки.

6.2.2 Принцип выполнения операций

Принцип выполнения операций испытуемого рабочего приложения должен быть определен и занесен в протокол испытания. Описание принципа выполнения операций должно включать в себя, но не ограничиваться следующим:

- интеграция биометрических систем с внешними системами, такими как системы логического или физического доступа;

- методы и системы аутентификации, которые биометрическая система замещает или дополняет (при необходимости);

- категория испытуемого приложения, например:

a) биометрическая регистрация;

b) контроль физического доступа;

c) контроль логического доступа;

d) наблюдение или контроль;

e) идентификация;

f) идентификация с помощью эксперта.

6.2.3 Руководство пользователя и инструкции

Несмотря на то что субъекты оперативного испытания во время их взаимодействия с биометрической системой не должны получать инструкции персонала по обеспечению испытаний, как было бы в случае сценарного испытания, они могут получать инструкции по использованию данной технологии. Любые инструкции по использованию биометрической системы должны быть занесены в протокол испытания. Информация относительно оперативного испытания, предоставленная испытуемому субъекту, также должна быть занесена в протокол испытания.

Испытатель должен определить для каждой испытуемой биометрической системы следующие элементы, связанные с предоставленными во время биометрической регистрации и распознавания руководящими указаниями:

- работа под контролем/без контроля;

- информация, предоставленная испытуемому субъекту обслуживающим лицом до начала взаимодействия;

- тип и объем информации, полученной испытуемым субъектом от биометрической системы в процессе взаимодействия;

- тип и объем информации, полученной испытуемым субъектом от обслуживающего лица в процессе взаимодействия;

- использование сценариев, инструкций, инструментов руководства или других механизмов информирования испытуемых субъектов в качестве оптимальных методов взаимодействия с биометрической системой;

- исправление и занесение в протокол случаев неправильного взаимодействия с биометрическим сканером;

- ограничения, накладываемые на внешний вид и одежду испытуемого субъекта;

- расхождения в руководстве и ответной реакции, предусмотренной для рабочего режима использования биометрической системы.

Примечание - Для оперативных испытаний, в которых биометрическая система до испытания не находилась в эксплуатации (например, "пилотное развертывание"), величина взаимодействия между обслуживающими лицами и испытуемыми субъектами должна быть приближена к величине, которая будет установлена разработчиком биометрической системы или администраторами биометрической системы для рабочего режима работы.

6.2.4 Уровни затрачиваемых усилий и порядок действий по принятию решений

Уровень затрачиваемых на биометрическую регистрацию и распознавание усилий, а также порядок действий по принятию решений испытуемой биометрической системы продиктованы условиями использования в рабочем режиме. В большинстве случаев биометрическая система будет иметь определенную конфигурацию, обусловленную принципом работы, и будет выдавать решение в режиме реального времени о совпадении/несовпадении/биометрической регистрации или другое, вследствие чего последующая деятельность субъекта в операционной среде будет зависеть от полученного результата.

Для оперативных испытаний, в которых присутствует биометрическая регистрация, испытатель должен по мере возможности определить и занести в протокол предельное число попыток биометрической регистрации и порядок действий по принятию решений для биометрической системы. Такие ограничения и порядок действий могут включать в себя следующее:

- минимальное и максимальное число попыток, необходимое или допустимое при биометрической регистрации (см. приложение В). Биометрическая система может провести биометрическую регистрацию после одной попытки или может потребоваться несколько попыток;

- минимальный и максимальный периоды времени, допустимые или необходимые для проведения биометрической регистрации в пределах заданной попытки биометрической регистрации или транзакции. Биометрическая система может прервать транзакцию биометрической регистрации, например, по истечении определенного периода времени. Это может быть связано с (1) невозможностью осуществить сбор биометрических данных или получить биометрический образец надлежащего качества или приемлемого уровня отличительных особенностей или (2) невозможностью обнаружить какую-либо биометрическую характеристику. Ситуация (1) означает, что биометрическая система получила и обработала данные, но посчитала их недостаточными; ситуация (2) означает, что данные не были получены и/или обработаны;

- проверку, включает ли в себя процесс биометрической регистрации немедленную попытку верификации на основе биометрической регистрации для подтверждения достаточности ввода данных и помощи субъекту в освоении;

- критерий качества или порог, применяемые во время биометрической регистрации.

Для оперативных испытаний, в которых необходимо распознавание, испытатель должен по мере возможности определить и занести в протокол предельное число попыток сравнения и порядок действий по принятию решений для биометрической системы. Такие ограничения и порядок действий могут включать в себя следующее:

- минимальное и максимальное число попыток, необходимых или допустимых при транзакции сравнения. Биометрическая система может принять решение после одной попытки, или может потребоваться несколько попыток;

- минимальный и максимальный периоды времени, допустимые или необходимые для проведения попытки или транзакции сравнения. Биометрическая система может прервать транзакцию сравнения по истечении определенного периода времени. В биометрических системах, не имеющих ограничения по времени сравнения, временные ограничения могут быть установлены для проведения оперативного испытания;

- критерии качества или порог, применяемые при сравнении.

6.2.5 Биометрические системы, использующие несколько экземпляров биометрических характеристик

Сведения о том, что биометрическая система использует для биометрической регистрации или распознавания несколько экземпляров биометрических характеристик от одного испытуемого субъекта, должны быть занесены в протокол. В биометрических системах, использующих несколько экземпляров биометрических характеристик, представлений или попыток, для объединения информации из двух или более экземпляров, представлений, и/или попыток может быть использована техника слияния. Используемые техники слияния и способ применения при их наличии должны быть занесены в протокол.

Примечание - Попытка, при которой субъект не допускается в рабочую биометрическую систему, может автоматически сопровождаться дополнительной попыткой, в которой биометрическая система использует другой экземпляр данного субъекта той же модальности. Например, если биометрическая система обычно использует для сравнения указательный палец левой руки, то при неудачной попытке может быть предложено использовать указательный палец правой руки. Данный метод будет чаще всего применен к таким модальностям, как отпечаток пальца и радужная оболочка глаза, так как большинство субъектов сбора биометрических данных может использовать более одного экземпляра для биометрической регистрации и распознавания данных модальностей.

6.2.6 Окружающая среда

Условия окружающей среды могут оказывать большое влияние на величину рабочих эксплуатационных характеристик. Должны быть учтены все значимые условия окружающей среды. В ИСО/МЭК ТО 19795-3 [5] перечислены физические условия окружающей среды, которые необходимо учитывать для различных модальностей и рабочих настроек. Они включают в себя, но не ограничиваются следующими показателями:

- температура окружающей среды;

- атмосферное давление;

- относительная влажность;

- воздействие внешних факторов (например, дождь, туман, снег, град и т.д.);

- освещение (включая тип, направление, интенсивность);

- посторонний (акустический) шум.

Условия окружающей среды, которые контролируются рабочей биометрической системой, должны быть по мере возможности занесены в протокол. Следует избегать введения любого контроля условий окружающей среды, не включенного в приложение. В случае введения такой контроль должен быть запротоколирован. Условия, которые не контролируются, могут наблюдаться и заноситься в протокол в той степени, в которой данные аспекты представляют интерес.

Пример 1 - Если рабочая биометрическая система для распознавания лиц использует специальное освещение, в протоколе должно быть приведено подробное описание осветительной системы.

Пример 2 - Если данные эксплуатационных характеристик не были собраны при температуре окружающей среды, превышающей 30°С, это должно быть описано в протоколе испытания. Аналогичным образом, в протокол должны быть занесены сведения об использовании в такие дни системы кондиционирования.

Как для мониторинга, так и для проведения оперативных испытаний допуска может оказаться целесообразным занесение в протокол данных об окружающей среде (например, температура окружающей среды, относительная влажность, осадки, облачность, освещенность). Наиболее полные и информативные данные могут быть собраны непосредственно на местах расположения биометрических сканеров (например, на пешеходных воротах) и в конкретное время проведения транзакции оперативного испытания. Однако данный подход может оказаться сложным, трудоемким и дорогостоящим. В качестве альтернативы на репрезентативном месторасположении (или на нескольких месторасположениях) для каждого оперативного испытания могут собираться данные об окружающей среде, включая дату и время, и затем соотноситься с событиями конкретных транзакций в режиме отложенного задания.

6.2.7 Факторы размещения

Факторы размещения также должны рассматриваться с точки зрения влияния на удобство работы с биометрической системой. Такие факторы могут включать в себя ограничения, связанные с безопасностью, здоровьем и надежностью (например, нахождение оборудования и обслуживающего персонала по разные стороны или крепление оборудования для исключения возможности перемещения).

Испытатель должен занести в протокол схему расположения рабочей среды, включая, но не ограничиваясь следующим:

- область пространства, предназначенная для выполнения оперативного испытания;

- положение естественного и искусственного освещения;

- размещение биометрических сканеров.

6.2.8 Акклиматизация

Акклиматизация должна соответствовать акклиматизации биометрической системы в рабочем режиме. Способ и степень акклиматизации биометрических характеристик испытуемой группы к рабочей окружающей среде должны быть занесены в протокол. В случае отличия данных показателей от показателей акклиматизации в рабочем режиме должно быть представлено обоснование.

6.2.9 Навыки

По возможности уровень ознакомления субъекта с испытуемым(ыми) устройством(ами) до начала оперативного испытания должен быть отражен в протоколе. Навыки могут быть представлены периодом времени взаимодействия субъектов с конкретным устройством (классом устройств) и частотой их использования (например, несколько раз в день, один раз в день, раз в неделю).

Примечания

1 Системы учета рабочего времени и входа в сеть в большинстве случаев будут относиться к системам, вызывающим появление навыка у субъекта. Системы, предназначенные для проведения голосования, пограничного контроля и выдачи пособий, не предполагают частого взаимодействия с субъектом, поэтому в большей степени будут классифицированы как системы, "не вызывающие появления навыков".

2 Появление у субъекта навыков работы с испытуемым(и) устройством(ами) может оказать существенное влияние на вероятности ошибок и пропускную способность. Субъекты, обладающие навыком работы с биометрической системой, будут иметь более низкие вероятности ложного недопуска и вероятности отказа сбора биометрических данных, а также меньшее время прохождения биометрической системы по сравнению с субъектами, не обладающими данными навыками.


Навыки испытуемой группы должны быть схожи с навыками целевой выборки. Испытуемая группа может получить навык взаимодействия с устройством в ходе оперативного испытания или до проведения испытания, например в процессе использования биометрической системы в рабочем режиме.

На появление навыков у субъекта оказывает влияние частота транзакций и рабочие параметры биометрической системы, такие как порог пропускной способности и максимальное число попыток распознавания, проводимых за одну транзакцию. Следовательно, рабочие значения данных параметров не должны отличаться от исходных значений.

Для оперативного испытания вновь установленных биометрических сканеров испытатели должны перед сбором данных, предназначенных для долгосрочного прогнозирования эксплуатационных характеристик, выделить время для ознакомления испытуемой группы с вновь установленным биометрическим сканером. Время ознакомления может быть задано в виде определенного периода (например, две недели), необходимого для получения минимального среднего числа взаимодействий субъекта с биометрическим сканером, либо путем отслеживания данных эксплуатационных характеристик для выявления точки стабилизации "кривой обучения" испытуемой группы, что будет свидетельствовать о том, что необходимый навык был получен.

Примечание 3 - Если одной из целей оперативного испытания является измерение зависимости производительности от степени полученного навыка, то может понадобиться более детализированное оперативное испытание навыков с соответствующим протоколом испытаний (см. приложение F).

Примечание 4 - При проведении оперативного испытания нескольких устройств (работающих с одинаковыми или различными биометрическими модальностями) испытуемые субъекты могут не в равной степени получать навык работы со всеми типами устройств. Например, испытуемый субъект может получить хороший навык работы с биометрическим сканером, регистрирующим отпечатки пальцев контактным методом, но не получить навык работы с биометрическим сканером, регистрирующим отпечатки пальцев методом прокатки. Кроме того, некоторые биометрические технологии имеют более сильную зависимость от степени привыкания, чем другие.

6.3 План проведения оперативного испытания

6.3.1 Общие требования

Планирование оперативного испытания зависит от типа информации эксплуатационных характеристик, которую хочет получить организация (6.1) и ограничено характеристиками приложения и рабочими условиями (6.2), которые не должны изменяться при проведении оперативного испытания.

В плане проведения оперативного испытания должны быть указаны:

- реализация и структура биометрической системы;

- целевая выборка;

- транзакции оперативного испытания, необходимые для получения эксплуатационных характеристик.

При определении числа транзакций, необходимых для проведения оперативного испытания, важно учитывать заявленную точность результатов и границы доверительного интервала.

Приложение С содержит образец спецификации оперативного испытания. Приложение D содержит руководство по использованию статистических методов определения объема оперативного испытания. Приложение Е содержит описание плана проведения оперативного испытания для контроля и оценки долгосрочных и краткосрочных тенденций эксплуатационных характеристик рабочей биометрической системы. Приложение F содержит элементы плана проведения оперативного испытания навыков.

6.3.2 Структура биометрической системы

Сбор биометрических данных для целей оперативного испытания должен быть проведен таким образом, чтобы исключить возможное влияние отношения субъекта и общества к биометрической системе и оказать минимальное воздействие на нормальное использование и режим работы биометрической системы.

Испытуемая биометрическая система может быть настроена или оборудована таким образом, чтобы предоставлять данные, обеспечивающие анализ эксплуатационных характеристик (например, результат сравнения, показатели качества или изображения и биометрические признаки образца). Действия, направленные на сбор таких данных, часто будут оказывать влияние на эксплуатационные характеристики самой биометрической системы, в особенности на пропускную способность. Испытатель должен: зафиксировать любые изменения аппаратуры и структуры биометрической системы; минимизировать влияние данных изменений на эксплуатационные характеристики; оценить и зафиксировать влияние данных изменений на эксплуатационные характеристики.

Пример - Биометрическая система может быть настроена на запись результатов сравнения, полученных в результате сравнения типа "один-к-одному", или на сохранение биометрических образцов распознавания. Если сохранение биометрических образцов заметно увеличивает время транзакции по сравнению с рабочей версией биометрической системы, это может существенно повлиять на взаимодействия субъекта с системой и, следовательно, на вероятности ошибок и пропускную способность. В таком случае сохранение таких данных было бы нецелесообразным.

Рабочее приложение может создавать ограничения на тип записываемых данных и степень возможного изменения рабочей биометрической системы. Например, система контроля физического доступа может быть неспособна в связи с архитектурными ограничениями сохранять биометрические образцы или визуализировать функции сравнения. И наоборот, в приложении для пограничного контроля сохранение биометрических образцов и ведение журнала транзакций могут быть обязательными. Кроме того, результаты оперативных испытаний, как правило, записываются на основе транзакций, которые могут ограничить способность оценки эксплуатационных характеристик на нескольких порогах показателей сравнения.

Примечание - Для оперативных испытаний вопрос о доступности результатов работы устройства может иметь большое значение. В зависимости от данных, представленных на выходе устройства, информация о том, связана ли транзакция недопуска с ошибкой биометрического сравнения, окончанием времени ожидания, отказом сбора биометрических данных или непригодностью небиометрических данных, может оказаться недоступной.


План проведения оперативного испытания должен содержать для каждого компонента (или биометрической системы) испытания следующие данные:

- результаты, предоставляемые биометрической системой, в том числе показатели сравнения, решения о допуске или недопуске, список кандидатов, показатели качества биометрической регистрации и качества биометрических образцов;

- диапазон показателей сравнения и показателей качества, которые способна выдавать биометрическая система, а также соответствующие пороговые значения, установленные для оперативного испытания;

- метод(ы), при помощи которого(ых) биометрическая система выдает результаты (например, некоторые результаты могут быть локально зарегистрированы на биометрическом сканере, другие результаты централизованно сохраняются в биометрической системе).

6.3.3 Испытуемая выборка

6.3.3.1 Выбор испытуемого субъекта

В качестве испытуемой выборки для оперативного испытания обычно используются сотрудники, клиенты или иные лица, связанные с организацией, проводящей испытания. Испытатель должен занести в протокол информацию об отношениях, связывающих испытуемый субъект и оператора биометрической системы. Испытатель должен занести в протокол информацию о том, используют ли субъекты биометрическую(ие) систему(ы) в ходе их обычной работы в организации, или же они были специально привлечены для проведения оперативного испытания. Испытуемая группа может также включать группу специально отобранных испытуемых субъектов в рамках более обширной выборки постоянных пользователей биометрической системы.

В протоколе испытания необходимо указать сведения о том, насколько типичными для целевой выборки являются испытуемые субъекты. Также по мере возможности в протокол испытания должны быть занесены демографические данные испытуемой выборки.

Примечание - Результаты оперативного испытания сотрудников, хорошо знакомых с биометрическими технологиями, могут быть неприменимы к целевой выборке.

6.3.3.2 Управление испытуемыми субъектами

План проведения оперативного испытания должен содержать информацию об испытуемых субъектах, включая, как минимум, следующее:

- типы используемых идентификаторов испытуемых субъектов;

- методы, используемые для проверки истинности в оперативных испытаниях распознавания или идентификации;

- влияние методов проверки истинности на взаимодействие испытуемого субъекта с биометрической системой;

- метод определения порядка взаимодействия членов испытуемой группы с биометрическими системами (при оперативном испытании нескольких биометрических систем или компонентов);

- число и тип демографических данных, которые будут собраны.

Оперативные испытания биометрических систем часто требуют использования персональных данных. Иногда имеется необходимость обработки таких данных (например, данных испытуемого субъекта и идентификаторов) таким образом, чтобы сохранялась анонимность испытуемых и соблюдались требования защиты личной жизни и методы защиты данных.

6.3.4 Транзакции оперативного испытания

6.3.4.1 Общие положения

План проведения оперативного испытания должен содержать конкретное число транзакций, которые будут выполняться во время испытания. Уровень значимости результатов оперативного испытания определяет минимальный размер испытания. Его можно определить с помощью статистических показателей, для получения более подробной информации см. приложение D. Число транзакций должно быть занесено в протокол.

Для измерения вероятности недопуска или вероятности идентификации биометрической системы частота и число транзакций каждого испытуемого субъекта должны быть соизмеримы с соответствующими значениями при обычном взаимодействии субъектов с биометрической системой в рабочих условиях. Частота совершения транзакций членами испытуемой группы должна быть занесена в протокол. Данные частоты могут быть представлены в виде значения медианы и среднего числа транзакций, проведенных каждым испытуемым в течение дня.

Примечание - Заданное число транзакций одного испытуемого субъекта необязательно должно быть одинаковым для всех испытуемых субъектов.


Измерение вероятностей ошибок (например, вероятность ложного допуска, вероятность ложного недопуска, вероятность ложноотрицательной идентификации и вероятность ложноположительной идентификации) требует множества транзакций с заданными истинными значениями, удостоверяющими личность субъекта сбора биометрических данных и устанавливающими законность данного взаимодействия. Данные транзакции могут полностью отличаться от набора транзакций, используемых для измерения вероятностей недопуска или идентификации биометрической системы, или иметь пересечения.

В оперативных испытаниях, измеряющих вероятности ложного допуска и ложного недопуска, транзакции "подлинного лица" и "самозванца" следует проводить в эквивалентных условиях (например, это касается порога принятия решений, разрешенного числа попыток, навыков испытуемого субъекта). Любые расхождения должны быть занесены в протокол.

Для биометрических систем, ранее находившихся в эксплуатации, сведения о любых изменениях во взаимодействии с биометрической системой, введенных в ходе оперативного испытания, должны быть занесены в протокол.

Во время оперативных испытаний испытуемая биометрическая система не должна иметь других параллельно выполняющихся операций, и в окружающей среде не должны происходить изменения, которые могли бы повлиять на результаты или аннулировать их (например, пожарные учения, ремонтные работы или обновление биометрической системы). Если во время оперативного испытания происходят незапланированные события, которые могут повлиять на результаты или аннулировать их, такие происшествия описывают в протоколе, и выносится решение о включении или исключении данных транзакции.

6.3.4.2 Процесс записи данных

План проведения оперативного испытания должен определять следующую информацию, относящуюся к сбору данных:

- методы записи данных для каждого элемента эксплуатационной характеристики, в том числе тех, которые не записываются биометрической(ими) системой(ами);

- способ записи взаимодействия испытуемого субъекта с биометрической системой;

- процесс контроля и проверки сбора данных эксплуатационных характеристик, в том числе тех, которые не записываются системой(ами);

- критерии исключения данных транзакций из анализа эксплуатационных характеристик.

Пример - Взаимодействие испытуемого субъекта с системами может записываться на видео, заноситься в системный журнал, фиксироваться собственноручно или непосредственно наблюдаться. Чем менее надежным является метод наблюдения за взаимодействием с системой, тем меньше данных эксплуатационных характеристик доступно для просмотра. Например, измерение ошибок представления или отказов сбора биометрических данных не может проводиться без непосредственного наблюдения.

Испытатель должен включить в протокол испытания примеры элементов сбора данных, такие как таблицы и журналы, будь то снимки экрана или скопированные формы. Сбор данных должен быть по мере возможности автоматизирован без снижения результатов эксплуатационных характеристик. В протоколе испытания должно быть четко указано, какие показатели были получены с помощью автоматизированного сбора, а какие путем ручного сбора данных.

6.3.4.3 Транзакция "подлинного лица"

Оперативные испытания должны включать в себя методы, при помощи которых личность испытуемого субъекта может быть подтверждена без обращения к испытуемой биометрической системе. Любые используемые методы для подтверждения личности испытуемого субъекта, результат транзакции которых записывается как "подлинное лицо", должны быть занесены в протокол.

Оперативные испытания, разработанные для измерения вероятности ложного недопуска или вероятности ошибки идентификации, должны включать в себя транзакции "подлинного лица", в которых истинные данные о личности испытуемого субъекта и законности данного взаимодействия устанавливаются без обращения к испытуемой биометрической системе.

Примечание - В рабочих условиях может оказаться невозможным определить, выполнялись ли на самом деле транзакции "подлинного лица" правильным испытуемым субъектом. Кроме того, невозможно определить добросовестность выполнения транзакций.

6.3.4.4 Транзакция "самозванца"

Оперативные испытания могут включать в себя испытания "самозванцев". Любые используемые методы для подтверждения личности испытуемого субъекта, результат транзакции которых записывается как "самозванец", должны быть занесены в протокол. Любые действия "самозванца", поддающиеся оценке и измерению, должны быть занесены в протокол.

Оперативные испытания, разработанные для измерения вероятности ложного допуска, должны включать: транзакции "самозванца", устанавливающие истинные данные о личности испытуемого субъекта без обращения к испытуемой биометрической системе.

Выполнение испытаний "самозванцев" является сложной задачей оперативного испытания. Ниже приведены возможные методы, при помощи которых могут быть получены транзакции "самозванца" с известными истинными данными:

- при использовании биометрической системы в рабочем режиме: члены испытуемой группы могут выполнять транзакции "самозванца" на рабочей биометрической системе. Транзакция "самозванца" может использовать идентификатор или маркер для субъекта, выдающего себя за "самозванца". Это напрямую отражает попытки "самозванцев" проводить сравнение в биометрической системе. Испытание во время использования в рабочем режиме может быть невыполнимым по соображениям безопасности, пропускной способности или производственного процесса;

- с использованием специальных рабочих биометрических систем: члены испытуемой группы могут выполнять транзакции "самозванцев" в специально отведенное время или с использованием специальных биометрических систем, применяемых исключительно для испытания "самозванцев". Любой член испытуемой группы может выполнять несколько транзакций "самозванца" с использованием одного или нескольких биометрических контрольных шаблонов. Испытатели должны обеспечить согласование с рабочими условиями процесса и характера взаимодействия со специализированными системами;

- путем повторного использования данных транзакций "подлинного лица" в режиме реального времени или отложенного задания: целесообразность данного гибридного подхода будет зависеть от рабочих условий и протоколов, а также от возможности сохранять биометрические образцы, биометрические контрольные шаблоны или биометрические признаки;

- в сценарных условиях: члены испытуемой группы могут выполнять транзакции "самозванца" в нерабочих условиях, настроенных с такими же порогами, как и рабочая биометрическая система. Выполнение такого оперативного испытания и синтез результатов с подлинными данными испытуемого субъекта, как происходит в рабочих биометрических системах, требуют, чтобы испытатель мог гарантировать, что способ взаимодействия со специальными системами согласуется с методами рабочих устройств.

Примечание 1 - Оперативное испытание вероятности ложного допуска с использованием биометрических образцов, сохраненных в транзакции "подлинного лица", может иметь значительные отклонения результатов при проведении испытания в режиме отложенного задания.


Пример 1 - Сохраненный биометрический образец может оказаться самым схожим с заявленным биометрическим контрольным шаблоном, а заявка "самозванца", скорее всего, приведет к сохранению совершенно другого биометрического образца.

Пример 2 - Некоторые биометрические системы извлекают биометрические признаки из нескольких последовательных биометрических образцов, но сохраняют только один биометрический образец, который не является характерным для всех представленных биометрических образцов.

Пример 3 - Некоторые биометрические системы сохраняют только биометрические образцы из успешных транзакций. В таких случаях повторное использование данных транзакции "подлинного лица" может сильно понизить вероятность успешной транзакции "самозванца".

Примечание 2 - Поддержание пассивной попытки "самозванца" может быть невыполнимым аналогично тому, как если бы проводилось в рабочих условиях; член испытуемой группы, как правило, знает, какую транзакцию он выполняет ("самозванца" или "подлинного лица"). Если испытатель хочет поддерживать для биометрических систем верификации методологию пассивного "самозванца", одним из методов является создание токена, с которым будет проходить сравнение, и идентификатор которого неизвестен членам испытуемой группы. В качестве другого способа обслуживающее лицо предъявляет идентификационную информацию, неизвестную для субъекта, через ввод идентификатора или персонального идентификационного кода.

Примечание 3 - Оперативное испытание с целью проверки уязвимости транзакций "активного самозванца" через потенциальную незащищенность выходит за рамки настоящего стандарта.

6.4 Измерение эксплуатационных характеристик

6.4.1 Пропускная способность

План проведения оперативного испытания должен определять параметры для измерения пропускной способности:

- один из подходов предполагает определение пропускной способности по среднему числу транзакций, совершенных в единицу времени (минуты, часы) в условиях полной очереди. При таком подходе измеренные значения могут зависеть от времени ожидания в очереди, так как субъекты наблюдают за другими транзакциями и готовятся корректировать свое поведение при непосредственном взаимодействии с оборудованием;

- альтернативный подход предполагает определение пропускной способности по расчетному (среднему) времени транзакции для одного человека при взаимодействии с биометрической системой без очереди. Данный подход требует определения диапазона взаимодействий для транзакций, который обязательно будет содержать некоторый уровень произвольности.

Различные методы будут давать на выходе различные значения пропускной способности.

Методы измерения времени транзакции должны быть занесены в протокол. Даже если сбор временных показателей проводится путем непосредственного наблюдения эксплуатационного персонала биометрической системы или специалистов по проведению испытания (например, с использованием секундомера), дополнительные временные данные могут автоматически собираться биометрической системой в нескольких точках процесса. Имеются основания ожидать, что автоматические временные точки не будут совпадать с временными точками, необходимыми для определения пропускной способности.

В случае распознавания продолжительность транзакций зарегистрированных субъектов часто будет отличаться от продолжительности транзакций незарегистрированных субъектов, поэтому их измеряют и заносят в протокол отдельно.

6.4.2 Анализ биометрической регистрации

Испытатель должен отметить в протоколе, если в рамках оперативных испытаний проводилась биометрическая регистрация.

Примечание - Испытание биометрической регистрации может не проводиться в рамках оперативного испытания, например в случае если биометрическая регистрация проводилась до начала испытания.


Для случаев, когда биометрическая регистрация проводится во время оперативного испытания, испытатель должен занести в протокол следующие сведения:

- пропускную способность для транзакций биометрической регистрации;

- число испытуемых субъектов и транзакций, используемых для вычисления пропускной способности;

- вероятность отказа биометрической регистрации;

- число испытуемых субъектов и транзакций, используемых для получения вероятности отказа биометрической регистрации;

- доля испытуемых субъектов с предварительной биометрической регистрацией (для которых транзакция биометрической регистрации не выполняется в рамках оперативного испытания).

Если в ходе оперативного испытания используют ранее зарегистрированные испытуемые субъекты или биометрические контрольные шаблоны, зарегистрированные в другой биометрической системе, в результате чего в испытуемой биометрической системе транзакции биометрической регистрации не проводят, информация о предварительной биометрической регистрации испытуемых субъектов должна быть по возможности представлена.

Предложения (необязательные) для внесения в протокол дополнительных сведений об эксплуатационных характеристиках биометрической регистрации представлены в приложении А (А.1).

6.4.3 Анализ распознавания

6.4.3.1 Общие положения

Для каждой испытуемой биометрической системы верификации или идентификации испытатель должен занести в протокол следующие сведения:

- пропускную способность для транзакции распознавания;

- число испытуемых субъектов и транзакций распознавания, используемых для вычисления пропускной способности.

Для каждой испытуемой биометрической системы верификации испытатель должен занести в протокол следующие сведения:

- вероятность отказа биометрической системы;

- число испытуемых субъектов и транзакций распознавания, используемых для вычисления вероятности отказа биометрической системы.

Для каждой испытуемой биометрической системы идентификации испытатель должен занести в протокол следующие сведения:

- вероятность идентификации биометрической системы;

- число испытуемых субъектов, транзакций идентификации и зарегистрированных лиц, используемых для вычисления вероятности идентификации биометрической системы.

Предложения (необязательные) для внесения в протокол дополнительных сведений об эксплуатационных характеристиках распознавания представлены в приложении А (А.2).

6.4.3.2 Анализ вероятности ошибки распознавания

Для оперативных испытаний, в которых план проведения испытания предусматривает использование истинных сведений для вычисления вероятностей ошибок сравнения, испытатель должен занести в протокол следующие сведения:

- для биометрических систем верификации: вероятность ложного допуска и вероятность ложного недопуска;

- биометрических систем идентификации: вероятность ложноположительной идентификации и вероятность ложноотрицательной идентификации;

- число испытуемых субъектов, транзакций распознавания и число зарегистрированных субъектов, используемых для вычисления вероятностей ошибок;

- были ли истинные транзакции проведены в рамках стандартной работы биометрической системы, в специальных условиях или другим способом, например, путем сравнения в режиме отложенного задания;

- для транзакций "подлинного лица" и транзакций идентификации: распределение времени, прошедшего между получением биометрических данных и сравнением данных;

- статистическая значимость результатов оперативного испытания в зависимости от числа ошибок, вероятностей ошибок, испытуемой выборки и числа выполненных транзакций.

Примечание - Протоколирование кривой компромиссного определения ошибки, отражающей эксплуатационные характеристики припороговых значениях, не использованных в оперативном испытании, невозможно, так как (1) биометрическая система сбора данных может останавливаться при достижении рабочего порога, и (2) субъекты могут изменять свое поведение в процессе использования в соответствии с пороговыми значениями.


Предложения по внесению в протокол дополнительных сведений об эксплуатационных характеристиках распознавания представлены в приложении А (А.2).

6.5 Формирование протоколов испытаний

6.5.1 Формирование протокола о результатах запланированного оперативного испытания

Протокол испытания должен содержать:

- цели и задачи оперативного испытания, включая описание испытуемой биометрической системы (см. требования к формированию протоколов в 6.1);

- описание характеристик приложения (см. требования к формированию протоколов в 6.2);

- копию плана проведения оперативного испытания (см. требования к формированию протоколов в 6.3);

- подробную информацию о любых отклонениях от плана проведения оперативного испытания, включая объем данных, исключенных из подсчета показателей эксплуатационных характеристик, и наблюдения, сделанные специалистом по проведению испытания и эксплуатационным персоналом биометрической системы, содержащие обоснование отклонения от плана проведения оперативного испытания;

- значения эксплуатационных характеристик, измеренные во время оперативного испытания (см. требования к формированию протоколов в 6.4);

- оценку статической значимости данных результатов.

Если требование было неприменимо или выходило за рамки данного оперативного испытания, это должно быть занесено в протокол.

Если требование не было выполнено из-за недоступности информации, в протоколе испытания должно быть указано, что подходящая информация отсутствует. Протокол испытания должен содержать объяснение причины отсутствия информации. Таким образом, человек, просматривающий протокол испытания, будет понимать, какие данные отсутствуют и по какой причине.

6.5.2 Формирование протокола дополнительного анализа

В ходе проведения оперативного испытания может проводиться дополнительный анализ, выходящий за рамки основного плана проведения оперативного испытания. Результаты такого дополнительного анализа должны быть занесены в протокол отдельно от тех, которые предусмотрены оперативным испытанием. Формирование отчета о дополнительном анализе должно учитывать возможные смещения в результатах.

6.5.3 Формирование отчета наблюдений

В ходе проведения оперативного испытания специалисты по проведению испытания, эксплуатационный персонал биометрической системы и испытуемые субъекты могут проводить или записывать наблюдения, например о возможных причинах отказа конкретных транзакций. В случае занесения данных наблюдений в протокол они должны заноситься отдельно от результатов измерений, предусмотренных оперативным испытанием, и, по возможности, включать в себя статистическую оценку достоверности.

6.5.4 Структура протокола испытаний

Пример структуры и содержания протокола испытаний представлен в приложении G.

6.6 Хранение записей

В дополнение к требованиям для хранения записей, установленным в ИСО/МЭК 19795-1, записи, созданные в ходе оперативного испытания, должны включать в себя, но не ограничиваться следующими данными:

- фотографии рабочей обстановки, достаточные для явного обозначения взаимного расположения приборов и субъектов во время проведения оперативного испытания;

- связи с поставщиками, имеющими отношение к структуре и работе биометрической системы;

- таблицы и формы, используемые для ввода данных.

Если данные записи не были сохранены, протокол испытания должен содержать обоснование данного факта. В протоколе испытания также должно быть отмечено, если записи не были сохранены по соображениям конфиденциальности.

Приложение А (справочное). Дополнительные показатели эксплуатационных характеристик и протоколирование

Приложение А
(справочное)

А.1 Показатели биометрической регистрации

Дополнительно к обязательному протоколированию значений вероятности отказа биометрической регистрации и пропускной способности биометрической регистрации, план проведения оперативного испытания может подразумевать также протоколирование следующих показателей:

- доля испытуемых субъектов, которым не удалось пройти биометрическую регистрацию из-за отсутствия биометрических характеристик (в качестве подмножества определенной выше вероятности отказа биометрической регистрации);

- для биометрических систем, в которых при биометрической регистрации возможны или необходимы многократные представления, попытки, транзакции или последовательности, доля успешно зарегистрированных физических лиц при различном уровне затрачиваемых усилий, от наименьшего до наибольшего уровня;

- доля испытуемых субъектов, которые неспособны провести попытку биометрической регистрации (например, из-за того, что физически неспособны дотянуться до биометрического сканера);

- медиана, среднее значение и среднеквадратическое отклонение времени биометрической регистрации испытуемых субъектов, для которых биометрическая регистрация возможна;

- медиана времени биометрической регистрации для подмножества испытуемых субъектов, которым в процессе биометрической регистрации была оказана помощь со стороны персонала;

- распределение показателей качества биометрической регистрации;

- результаты биометрической регистрации, доступные для заранее определенных подмножеств транзакций, например, по местам проведения биометрической регистрации, демографическим группам субъектов и т.д.

А.2 Показатели распознавания

Дополнительно к обязательному протоколированию отказов биометрической системы, пропускной способности и т.д. план проведения оперативного испытания может подразумевать также протоколирование следующих показателей:

- вероятность отказа сбора биометрических данных - в протокол заносят число представлений, обычно получаемых при данном уровне ошибки, а также момент объявления отказа сбора биометрических данных (если известно о наличии факта отказа сбора биометрических данных);

- распределение показателей сравнения (если они доступны) для транзакций распознавания, а также для попыток "подлинного лица" и попыток "самозванца" (если известны соответствующие истинные данные);

- кривая компромиссного определения ошибки, показывающая связь между вероятностью ложного допуска и вероятностью ложного недопуска (или между вероятностями ошибок ложноположительной и ложноотрицательной идентификации) при различных порогах принятия решения;

- медиана или среднее значение и среднеквадратическое отклонение длительности транзакции распознавания - данные временные показатели должны быть представлены отдельно для зарегистрированных и незарегистрированных субъектов;

- число транзакций распознавания, производимых за день.

План проведения оперативного испытания также может предусматривать занесение в протокол результатов распознавания (таких как вероятность отказа биометрической системы, вероятность идентификации биометрической системы, показатель пропускной способности, число успешных и ошибочных транзакций распознавания), предварительно разделенных на определенные группы транзакций, например:

- по испытуемому субъекту;

- возрасту, полу или иному демографическому признаку;

- расположению (в случае, когда биометрическая система работает на нескольких различных объектах);

- временному периоду (например, определенный час дня или месяц в году);

- эксплуатационному персоналу биометрической системы.

Приложение В (справочное). Взаимосвязь между представлениями, попытками и транзакциями при оперативных испытаниях

Приложение В
(справочное)

Рисунок В.1 - Взаимосвязь между представлениями, попытками и транзакциями при оперативных испытаниях

Приложение C (справочное). Образец спецификации оперативного испытания

Приложение C
(справочное)

Таблица С.1 - Образец спецификации оперативного испытания

Приложение D (справочное). Методы определения объема оперативного испытания

Приложение D
(справочное)

D.1 Общие положения

Оперативные испытания должны предусматривать такой объем испытания (то есть число транзакций оперативного испытания), который будет достаточен для достижения целей данного испытания. Объем оперативного испытания влияет на точность получаемых значений эксплуатационных характеристик, на то, какой минимальный уровень ошибки может быть измерен; на вероятность обнаружения значимого результата в случае наличия такового (мощность оперативного испытания); на вероятность ложной интерпретации случайных процессов как значимых (уровень значимости оперативного испытания).

Связь между числом транзакций оперативного испытания и статистической значимостью результатов зависит от проверяемой в оперативном испытании гипотезы. При оперативных испытаниях биометрической системы целью часто является сравнение количественных соотношений, таких как вероятности ошибок, вероятности недопуска или вероятности отказа биометрической регистрации, например:

- есть ли различия в вероятностях недопуска у двух подсистем, использующих разные биометрические сканеры?

- влияют ли изменения условий окружающей среды на вероятности недопуска?

- функционирует ли биометрическая система в пределах заданного диапазона эксплуатационных характеристик для вероятности ложного недопуска?

Приведенные ниже примеры демонстрируют общий подход к определению объема оперативного испытания для таких случаев.

D.2 Объем оперативного испытания для сравнения количественных соотношений

В оперативном испытании проводится поиск возможных различий между вероятностями недопуска биометрической системы для двух различных биометрических сканеров (А и В). Во время эксперимента будет проведено n транзакций верификации "подлинного лица" при использовании каждого биометрического сканера. Пусть р и р - истинные вероятности недопуска каждого биометрического сканера. Статистический параметр , полученный в ходе оперативного испытания, является наблюдаемым различием между вероятностями недопуска двух биометрических образцов, а нулевая гипотеза () будет отвергнута в случае, если превысит критерий оперативного испытания с.

Для вычисления необходимого объема оперативного испытания испытатель должен определить:

- значение , соответствующее различию, которое считается существенным;

- желаемую вероятность получения значимого результата в случае, если истинное различие больше или равно (стандартные значения : 0,80; 0,90 или 0,95);

- уровень значимости оперативного испытания (стандартные значения : 0,10; 0,05 или 0,01).

Для данного примера будем считать, что транзакции верификации являются статистически независимыми. Тогда будет иметь распределение, близкое к нормальному со средним значением и стандартным отклонением (где может быть установлено на основе наблюдения за рабочей биометрической системой).

В данном примере будут использоваться значения =0,06; =0,80; =0,10 и р=0,12. Таким образом:

a) если , при оперативном испытании имеется вероятность не менее 80% определить, что , и отвергнуть нулевую гипотезу;

b) если , при оперативном испытании имеется вероятность не более 10% определить, что и отвергнуть нулевую гипотезу.

Заметим, что:

- имеет распределение, близкое к нормальному, со средним значением и среднеквадратичным отклонением ;

- 10% стандартного нормального распределения лежит за пределами интервала (-1,645; 1,645);

- 80% стандартного нормального распределения лежит в интервале (-0,842; ).

Из требований а) и b) следует:

.

Для критерия достоверности оперативного испытания с необходимо:

.

Таким образом, в рассматриваемом примере необходимо провести испытание минимум с 363 транзакциями для каждого биометрического сканера.

Общая формула числа транзакций оперативного испытания для сравнения количественных соотношений (для двустороннего критерия с независимыми транзакциями):

,

где Z - нормальное отклонение для двустороннего уровня значимости ;

Z - нормальное отклонение для одностороннего уровня значимости ;

p - (оценка) доля(и) интереса, усредненная по обоим биометрическим образцам.

Заметим, что уменьшение значения , увеличение значения или уменьшение значения уровня значимости приведет к увеличению необходимого числа транзакций.

Описанный метод построен на допущениях о нормальности распределения и независимости выборок. Данный метод может дать заниженное число необходимых транзакций, если результаты транзакций имеют положительную корреляцию (например, если большая доля транзакций проводится на относительно небольшом числе испытуемых субъектов). Осторожность также нужна при использовании оценочных значений р и n, (n·p)<10 (или если n·(1-p)<10), когда аппроксимация нормальным распределением не подходит для достаточно точной оценки n.

D.3 Сравнение вероятности недопуска с заданным значением

Предположим, что в результате работы необходимо получить вероятность недопуска менее р. Полученная при оперативном испытании величина X - наблюдаемое число недопусков, и биометрическая система будет признана работающей в пределах заданных требований, если X не превышает значение критерия оперативного испытания с.

Уровень значимости означает, что если действительная вероятность недопуска превышает р, вероятность неверной интерпретации биометрической системы как удовлетворяющей требованиям составляет максимум .

В свою очередь значения и выбираются на основе решения, что если вероятность недопуска ниже , биометрическая система будет признана удовлетворяющей требованиям как минимум с вероятностью . Тогда, если транзакции принять независимыми, число транзакций n должно удовлетворять условиям:

и

.

Решение данных неравенств позволит найти n и с путем использования нормальной аппроксимации биномиального распределения (как в примере D.2) либо для малых значений р путем использования таких средств, как Excel.

Примечание - Использование функции Excel предоставляет критерий оперативного испытания для удовлетворения требованиям принятия биометрической системы. Число транзакций n должно быть достаточно велико, чтобы значение BINOMDIST(c, n, р-, TRUE) превысило .

Приложение Е (справочное). Контроль рабочей биометрической системы

Приложение Е
(справочное)

Е.1 Длительность оперативного контроля

Для оперативных испытаний, целью которых является проверка долгосрочных тенденций или поведения биометрической системы во времени, может возникнуть необходимость длительного контроля биометрической системы вместо ограниченного во времени оперативного испытания. Это может выявить тенденции, суточные или сезонные периодические изменения и аномальные события.

Пример 1 - Показатели качества изображений биометрического сканера отпечатков пальцев оказались низкими в январе и феврале в Канаде; показатели качества изображений биометрического сканера такого же типа оказались низкими в июле и августе в Южной Африке.

Пример 2 - Время извлечения биометрических признаков на изображениях для верификации на три стандартных отклонения выше среднего значения на протяжении 20 мин каждый день, начиная с 4 ч утра.

Е.2 Методы

Е.2.1 Индикаторы эксплуатационных характеристик

Испытатель должен установить один или несколько показателей, относящихся к эксплуатационным характеристикам, такие как:

- длительность транзакции;

- показатель сравнения;

- показатель качества изображения;

- решения о недопуске в биометрических системах верификации;

- сигналы тревоги в биометрических системах идентификации.

Е.2.2 Вспомогательные данные

Если в эксплуатационных характеристиках зафиксирована тенденция или аномалия, должны быть исследованы показатели, не относящиеся к эксплуатационным характеристикам, которые могли привести к спорным результатам. Такие показатели могут включать в себя следующую информацию:

- время суток, дата, часовой пояс;

- расположение;

- показатели окружающей среды (температура, влажность);

- данные об испытуемом субъекте (например, пол, возраст);

- показатели электронной системы (температура, свободная память, версия операционной системы и история изменений, журнал доступа администраторов биометрической системы);

- показатели биометрической системы (рабочий порог, калибровочная информация, протоколы).

Е.2.3 Оснащенность приборами

Испытатель должен организовать доступ к индикаторам эксплуатационных характеристик и вспомогательной информации. По возможности биометрическая система должна быть оснащена соответствующими приборами для вывода этих значений.

Пример - Устройство отправляет испытателю электронное письмо с журналом транзакции и журналами рабочей биометрической системы по специально выделенному беспроводному соединению.

Испытатель должен учитывать и регистрировать, не снижает ли или не оказывает ли измерительная аппаратура какого-либо рода влияния на точность, скорость, удобство работы или другие различимые характеристики биометрической системы.

Е.3 Анализ

Показатели эксплуатационных характеристик могут быть отражены на графике в виде функции времени. Исследование полученного графика в большинстве случаев будет достаточным для выявления тенденций, периодических процессов или аномалий. Не рекомендуется "слепое" использование методов общей статистики (например, медианы), поскольку артефакты, пульсации, скачки и тенденции могут сделать такие результаты непригодными для вынесения заключения. Испытатель должен опираться на работы по анализу временных рядов (например, [6]).

Приложение F (справочное). Оперативные испытания навыков

Приложение F
(справочное)

Оперативное испытание может включать в себя методики, которые позволяют измерять эффект привыкания. Такое испытание называется оперативным испытанием навыков.

Примечание 1 - Условия окружающей среды, в которых проводятся оперативные испытания, обычно хорошо подходят для измерения эффекта привыкания, поскольку взаимодействия испытуемых субъектов с биометрическими сканерами в общем случае характерны для реальных условий работы. В сценарных испытаниях, напротив, реальные условия могут быть смоделированы, но не всегда могут быть воспроизведены.


При оперативных испытаниях навыков в качестве всей или части набора испытуемых субъектов используется необученная испытуемая выборка. Оперативные испытания навыков могут оценивать влияние навыков на эксплуатационные характеристики одним или несколькими способами:

- путем сравнения исходных эксплуатационных характеристик, полученных при помощи выборки испытуемых субъектов, незнакомых с биометрической системой, и итоговых характеристик тех же испытуемых субъектов, получивших навыки в процессе оперативного испытания;

- путем сравнения эксплуатационных характеристик, полученных при помощи выборки испытуемых субъектов, имеющих навык работы с биометрической системой, с характеристиками необученной выборки испытуемых субъектов;

- путем сравнения эксплуатационных характеристик, полученных при помощи выборки испытуемых субъектов, имеющих навык работы с биометрической системой, с характеристиками выборки испытуемых субъектов, получивших навыки в процессе оперативного испытания.

Примечание 2 - Оперативные испытания навыков могут включать в себя различные методики контроля навыков, такие как контроль числа транзакций, совершаемых испытуемыми субъектами за день, или проведение дополнительного обучения для части выборки испытуемых субъектов.

Примечание 3 - Приобретение навыков испытуемыми субъектами зависит от приложения и целей оперативного испытания.


Эксплуатационные характеристики для оперативных испытаний навыков могут быть представлены для одного или более из трех подходов (перечисленных выше) с использованием следующих показателей:

- вероятности ошибок и время транзакций, измеренные при минимальных навыках;

- вероятности ошибок и время транзакций, измеренные при максимальных навыках;

- вероятности ошибок и время транзакций, измеренные на интервалах, достаточных для оценки влияния навыков на эксплуатационные характеристики.

Примечание 4 - Вероятности ошибок включают в себя отказ биометрической регистрации и ошибки распознавания для одиночных и/или многократных попыток транзакции.

Приложение G (справочное). Образец содержания протокола оперативного испытания

Приложение G
(справочное)

Таблица G.1 - Образец содержания протокола оперативного испытания

Приложение ДА (справочное). Сведения о соответствии ссылочных международных стандартов национальным стандартам Российской Федерации

Приложение ДА
(справочное)

Таблица ДА.1

Библиография

Электронный текст документа
и сверен по:
официальное издание
М.: Стандартинформ, 2016