ФЕДЕРАЛЬНОЕ АГЕНТСТВО
ПО ТЕХНИЧЕСКОМУ РЕГУЛИРОВАНИЮ И МЕТРОЛОГИИ
пнет 792—
2022
ПРЕДВАРИТЕЛЬНЫЙ НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
Информационные технологии
БИОМЕТРИЯ
Методология проведения сценарного испытания для определения влияния пользователей на эксплуатационные характеристики биометрической системы
(ISO/IEC 21472:2021, NEQ)
Издание официальное
Москва Российский институт стандартизации 2022
Предисловие
1 РАЗРАБОТАН Некоммерческим партнерством «Русское общество содействия развитию биометрических технологий, систем и коммуникаций» (Некоммерческое партнерство «Русское биометрическое общество») и Федеральным государственным бюджетным учреждением «Российский институт стандартизации» (ФГБУ «РСТ») при консультативной поддержке Федерального государственного бюджетного образовательного учреждения высшего образования «Московский государственный технический университет имени Н.Э. Баумана (национальный исследовательский университет)» (МГТУ им. Н.Э. Баумана)
2 ВНЕСЕН Техническим комитетом по стандартизации ТК 098 «Биометрия и биомониторинг»
3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 14 ноября 2022 г. № 108-пнст
4 Настоящий стандарт разработан с учетом основных нормативных положений международного стандарта ИСО/МЭК 21472:2021 «Информационные технологии. Методология проведения сценарного испытания при влиянии пользователей на производительность биометрической системы» (ISO/IEC 21472:2021 «Information technology — Scenario evaluation methodology for user interaction influence in biometric system performance», NEQ)
5 Некоторые элементы настоящего стандарта могут быть объектами патентных прав. Федеральное агентство по техническому регулированию и метрологии не несет ответственности за установление подлинности каких-либо или всех таких патентных прав
Правила применения настоящего стандарта и проведения его мониторинга установлены в ГОСТР 1.16—2011 (разделы 5 и 6).
Федеральное агентство по техническому регулированию и метрологии собирает сведения о практическом применении настоящего стандарта. Данные сведения, а также замечания и предложения по содержанию стандарта можно направить не позднее чем за 4 мес до истечения срока его действия разработчику настоящего стандарта по адресу: 107045 Москва, Сретенский тупик, д. 3, стр. 1, e-mail: standards@rusbiometrics.com и/или в Федеральное агентство по техническому регулированию и метрологии: 123112 Москва, Пресненская набережная, д. 10, стр. 2.
В случае отмены настоящего стандарта соответствующая информация будет опубликована в ежемесячном информационном указателе «Национальные стандарты» и также будет размещена на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)
© Оформление. ФГБУ «РСТ», 2022
Настоящий стандарт не может быть полностью или частично воспроизведен, тиражирован и распространен в качестве официального издания без разрешения Федерального агентства по техническому регулированию и метрологии
II
ПНСТ 792—2022
ПРЕДВАРИТЕЛЬНЫЙ НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
Информационные технологии
БИОМЕТРИЯ
Методология проведения сценарного испытания для определения влияния пользователей на эксплуатационные характеристики биометрической системы
Information technology. Biometrics.
Scenario evaluation methodology for user interaction influence in biometric system performance
Срок действия — с 2023—07—01 до 2026—07—01
1 Область применения
Настоящий стандарт распространяется на биометрические системы и устанавливает:
- требования к планированию, выполнению и протоколированию сценарного испытания для определения влияния пользователей на эксплуатационные характеристики биометрической системы с учетом трех видов факторов воздействия:
факторов воздействия, связанных с биометрической системой,
факторов воздействия, связанных с пользователем,
факторов воздействия, связанных с взаимодействием пользователя с биометрической системой;
- спецификации для определения, установления и измерений условий, необходимых для проведения сценарного испытания;
- требования к контрольным и целевым условиям проведения сценарного испытания для сравнения факторов воздействия;
- спецификацию сценарного испытания, включая требования к испытуемой группе, протоколу испытаний, данным для регистрации, результатам испытания.
Настоящий стандарт не устанавливает требования:
- к перечню метрик, связанных с конкретными биометрическими модальностями;
- уязвимостям, изменяющим факторы воздействия;
- испытанию на степень удобства использования;
- обеспечению защиты подлинности, целостности и конфиденциальности хранимых и передаваемых биометрических персональных данных.
2 Нормативные ссылки
В настоящем стандарте использованы нормативные ссылки на следующие стандарты:
ГОСТ ISO/IEC 2382-37 Информационные технологии. Словарь. Часть 37. Биометрия
ГОСТ Р 58292 (ИСО/МЭК 19795-2:2007) Информационные технологии. Биометрия. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 2. Методы проведения технологического и сценарного испытаний
ГОСТ Р 58667.2 (ИСО/МЭК 24779-4:2017) Информационные технологии. Биометрия. Пиктограммы, значки и символы для использования в биометрических системах. Часть 2. Приложения, осуществляющие работу с отпечатками пальцев
Издание официальное
ГОСТ Р 58667.3 (ИСО/МЭК 24779-5:2020) Информационные технологии. Биометрия. Пиктограммы, значки и символы для использования в биометрических системах. Часть 3. Приложения, осуществляющие работу с изображениями лиц
ГОСТ Р 58667.4 (ИСО/МЭК 24779-6:2021) Информационные технологии. Биометрия. Пиктограммы, значки и символы для использования в биометрических системах. Часть 4. Приложения, осуществляющие работу с изображениями сосудистого русла
Примечание — При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю «Национальные стандарты», который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя «Национальные стандарты» за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.
3 Термины и определения
В настоящем стандарте применены термины по ГОСТ ISO/IEC 2382-37, а также следующие термины с соответствующими определениями:
3.1
фактор воздействия (influencing factor): Фактор, оказывающий влияние на эксплуатационные характеристики биометрической системы.
[ГОСТ Р ИСО/МЭК ТО 19795-3—2009, пункт 3.1]
3.2 контрольное условие испытания; КУИ (reference evaluation conditions, REC): Условие испытания, отражающее стандартные факторы воздействия, связанные с биометрической системой, пользователем или взаимодействием пользователя с биометрической системой.
Примечание — Результаты, полученные при испытании в КУИ, сравнивают с результатами, полученными при испытаниях в соответствующих целевых условиях испытания.
3.3 целевое условие испытания; ЦУИ (target evaluation conditions, ТЕС): Условие испытания, отражающее новые или альтернативные факторы воздействия, связанные с биометрической системой, пользователем или взаимодействием пользователя с биометрической системой.
Примечание — Результаты, полученные при испытании в ЦУИ, сравнивают с результатами, полученными в соответствующих КУИ.
4 Спецификация условий испытания
4.1 Общие положения
Следует указать условия влияния пользователей при испытании, включая:
- факторы воздействия;
- КУИ и ЦУИ.
4.2 Спецификация факторов воздействия
4.2.1 Общие положенияУсловия испытания определяют в зависимости от того, оценку каких факторов воздействия необходимо провести. Типы факторов воздействия приведены в 4.2.2—4.2.4. Допускается применять другие измеряемые факторы воздействия.
4.2.2 Факторы воздействия, связанные с биометрической системой
Влияние пользователя на эксплуатационные характеристики биометрической системы может быть вызвано конструкцией, расположением или состоянием системы регистрации данных. Примеры данных факторов воздействия, которые могут привести к сбою процесса регистрации данных или получению биометрических образцов низкого качества, приведены в таблице 1.
В таблице 1 факторы воздействия классифицированы как связанные с программным и аппаратным обеспечением.
Таблица 1 — Примеры факторов воздействия, связанных с биометрической системой
Тип | Фактор | Пример КУИ | Пример ЦУИ 1 | Пример ЦУИ 2 | ||
Программное обеспечение | Процесс | Размещение | Сравнение на удаленном сервере | Сравнение внутри устройства | — | |
Аппаратное обеспечение | Расположение элементов | Высота | Устройство расположено на высоте 1,20 м | Устройство расположено на высоте 1 м | Устройство расположено на высоте 1,50 м | |
Ориен-тация | Поворот | Горизонтально | Вертикально | — | ||
Наклон | Устройство расположено на столе без наклона | Устройство расположено на столе с наклоном 15° | Устройство расположено на столе с наклоном 30° | |||
Мобильность | Устройство расположено на стене | Устройство встроено в мобильное устройство | — | |||
Состояние устройства | Рабочая поверхность чистая | Рабочая поверхность загрязнена | — | |||
4.2.3 Факторы воздействия, связанные с пользователями
Примеры данных факторов воздействия, которые могут привести к сбою процесса регистрации данных или к получению биометрических образцов низкого качества, приведены в таблице 2.
Таблица 2 — Примеры факторов воздействия, связанных с пользователями
Тип | Фактор воздействия | Пример КУИ | Пример ЦУИ 1 | Пример ЦУИ 2 | |
Поведенческий | Речь | Язык | Дикторы из Российской Федерации говорят на русском языке | Дикторы из Республики Армения говорят на русском языке | Дикторы из Китая говорят на русском языке |
Голос | Дикторы говорят с определенной громкостью | Дикторы говорят громко | Дикторы говорят с диалектом | ||
Движения | Пользователи с нейтральным выражением лица | Пользователи улыбаются | — | ||
Опыт | У пользователей есть опыт взаимодействия с биометрической системой | У пользователей нет опыта взаимодействия с биометрической системой | — | ||
Знания | Пользователи, не обладающие техническими знаниями | Пользователи, обладающие техническими знаниями | Пользователи, знакомые с биометрическими технологиями | ||
Физический | Антропометрические данные | Рост, см | От 181 до 200 | От 140 до 160 | От 161 до 180 |
Физические особенности | Правши | Левши | — | ||
Окончание таблицы 2
Тип | Фактор воздействия | Пример КУИ | Пример ЦУИ 1 | Пример ЦУИ 2 | ||
Физический | Демогра-фические данные | Возраст, лет | От 20 до 40 | От 41 до 60 | От 61 до 80 | |
Пол | Женский | Мужской | — | |||
Раса | Негроидная | Монголоидная | Европеоидная | |||
Род деятельности | Интеллектуальный ТРУД | Физический труд | — | |||
Влияние на производительность | Фиксируемые | Естественные | Пользователи, у которых отсутствует борода | Пользователи, имеющие бороду | Пользователи, имеющие длинные волосы | |
Искусственные | Пользователи, у которых отсутствует татуировка на лице | Пользователи, имеющие татуировку на лице | — | |||
Не фиксируемые | Естественные | Пользователи, имеющие сухие руки | Пользователи, имеющие влажные руки | — | ||
Искусственные | Пользователи, которые носят очки | Пользователи, которые не носят очки | Пользователи, которые носят серьги | |||
Проблемы, связанные с доступностью | Физического характера | Пользователи без проблем со зрением | Пользователи со слепотой | — | ||
Пользователи без нарушений речи | Пользователи с нарушением речи | — | ||||
Пользователи, которые могут предоставить биометрическую характеристику | Пользователи, которые не могут предоставить биометрическую характеристику | — | ||||
Умственного характера | Пользователи без дислексии | Пользователи с дислексией | — | |||
4.2.4 Факторы воздействия, связанные с взаимодействием пользователей с биометрической системой
Примеры данных факторов воздействия, которые могут привести к сбою процесса регистрации данных или получению биометрических образцов низкого качества, приведены в таблице 3.
Таблица 3 — Примеры факторов воздействия, связанных с взаимодействием пользователей с биометрической системой
Тип | Фактор воздействия | Пример КУИ | Пример ЦУИ 1 | Пример ЦУИ 2 | |
Взаимодействие с биометрической системой | Руководство | Поддержка | Персональное сопровождение во время процесса | Видеоруководство во время процесса | Аудиоруководство во время процесса |
Инструкции | Без предварительных инструкций | С предварительными визуальными инструкциями на плакатах | — | ||
Тренировка | Без предварительной тренировки | С предварительной тренировкой | — | ||
Обратная связь | Без обратной связи | Получение акустической обратной связи, указывающей на правильность предъявления | Получение визуальной акустической обратной связи, указывающей на правильность предъявления | ||
Сценарий | На мобильном устройстве (один дома) | На мобильном устройстве (в общественном месте) | — | ||
4.3 Спецификация контрольных условий испытания
КУИ устанавливают на основе типичных значений условий. КУИ определяют для каждого испытания в отдельности и не применяют в качестве общего справочного материала для всех испытаний или сред. КУИ для каждой группы факторов воздействия устанавливают в соответствии со следующими требованиями:
- для факторов воздействия, связанных с биометрической системой, стандартные условия должны соответствовать рекомендациям разработчиков;
- для факторов воздействия, связанных с пользователем, члены испытуемой группы не должны иметь элементы, которые полностью или частично закрывают биометрические характеристики или могут повлиять на процесс сбора биометрических характеристик. Биометрические характеристики не должны быть повреждены;
- для факторов воздействия, связанных с взаимодействием пользователя с биометрической системой, члены испытуемой группы предоставляют свои биометрические характеристики в соответствии с рекомендациями разработчиков. При отсутствии рекомендаций разработчиков членам испытуемой группы должны быть предоставлены последовательные, четкие указания по использованию биометрической системы.
4.4 Спецификация целевых условий испытания
Следует указать ЦУИ, охватывающие факторы воздействия, по которым можно оценить влияние пользователя на эксплуатационные характеристики биометрической системы. ЦУИ должно быть соотнесено с КУИ.
4.5 Формирование условий испытания
Для любого испытания должны быть определены и сформированы КУИ и ЦУИ. Как правильно, осуществляют следующие действия по формированию условий испытания:
- для факторов воздействия, связанных с биометрической системой, необходимо настроить биометрическую систему в соответствии с условиями испытания. Для этого может потребоваться использование объекта, который моделирует желаемое рабочее местоположение биометрической системы;
- для факторов воздействия, связанных с пользователем, факторы следует учитывать при наборе членов испытуемой группы и при разработке методики испытаний, чтобы обеспечить возможность наблюдения и количественной оценки влияния этих факторов. Члены испытуемой группы должны представлять соответствующую группу, у которой, вероятно, будут наблюдаться определенные факторы воздействия. Допускается моделировать определенные условия или поведение пользователя (например, у члена испытуемой группы мокрые/сухие/жирные руки, он смотрит в сторону и т. д.);
- для факторов воздействия, связанных с взаимодействием пользователя с биометрической системой, необходимо разработать инструкции для членов испытуемой группы по биометрическому предъявлению в соответствии со спецификациями условий испытаний (КУИ/ЦУИ). Инструкции должны включать стандартизированные пиктограммы, значки и символы в соответствии с ГОСТ Р 58667.2, ГОСТ Р 58667.3 и ГОСТ Р 58667.4.
4.6 Контроль за условиями испытания
Следует контролировать и инструктировать членов испытуемой группы для обеспечения КУИ/ЦУИ.
Необходимо обеспечить контроль:
- за настройкой биометрической системы в соответствии с условиями испытаний (для факторов воздействия, связанных с биометрической системой);
- пользователем (для факторов воздействия, связанных с пользователями);
- соблюдением требований программы и методики испытаний при взаимодействиях членов испытуемой группы с биометрической системой (для факторов воздействия, связанных с взаимодействием пользователя с биометрической системой).
В протокол испытания рекомендуется включать информацию о взаимодействии члена испытуемой группы с биометрической системой. При этом процесс записи информации не должен влиять на испытание.
5 Требования к планированию испытания
5.1 Спецификация испытаний
В программе и методике испытаний должна быть приведена следующая информация:
- цель испытания (анализ и количественная оценка влияния одного или нескольких факторов воздействия);
- факторы воздействия;
- спецификация условий испытаний, включая спецификацию факторов воздействия, а также необходимое оборудование и инструкции;
- условия КУИ и ЦУИ:
факторы воздействия, которые не изменяются в КУИ и ЦУИ;
факторы воздействия, которые изменяются в КУИ и ЦУИ;
факторы воздействия, которые не контролируют или не учитывают в КУИ или ЦУИ.
5.2 Информация об испытаниях
Для проведения испытания по определению влияния пользователя на эксплуатационные характеристики биометрической системы члены испытуемой группы должны быть проинформированы об условиях проведения испытаний.
5.3 Инструкции по испытаниям
Программа и методика испытания должна включать инструкции по биометрическим предъявлениям, включая правильные и неправильные действия пользователей. Инструкции по испытаниям должны включать стандартизированные пиктограммы, значки и символы в соответствии с ГОСТ Р 58667.2, ГОСТ Р 58667.3 и ГОСТ Р 58667.4.
При оценке факторов воздействия, связанных с биометрической системой, в инструкциях должна быть приведена информация о порядке осуществления биометрических предъявлений.
При оценке факторов воздействия, связанных с пользователем, в инструкциях должны быть указаны параметры, которые должны иметь члены испытуемой группы при взаимодействии с устройством сбора биометрических данных.
При оценке факторов воздействия, связанных с взаимодействием пользователя с биометрической системой, в инструкциях должен быть установлен порядок выполнения взаимодействий. Членам испытуемой группы должны быть предоставлены инструкции по каждому виду взаимодействия.
5.4 Результаты испытаний и протоколирование
По результатам испытаний должен быть подготовлен протокол испытаний в соответствии с ГОСТ Р 58292.
УДК 004.93’1:006.89.006:354
ОКС 35.240.15
Ключевые слова: информационные технологии, биометрия, методология проведения сценарного испытания, биометрическая система, факторы воздействия, влияние пользователей на эксплуатационные характеристики биометрической системы
Редактор Л.В. Каретникова Технический редактор И.Е. Черепкова Корректор Р.А. Ментова Компьютерная верстка И.А. Налейкиной
Сдано в набор 16.11.2022. Подписано в печать 22.11.2022. Формат 60х841/в. Гарнитура Ариал. Усл. печ. л. 1,40. Уч.-изд. л. 1,18.
Подготовлено на основе электронной версии, предоставленной разработчиком стандарта
Создано в единичном исполнении в ФГБУ «РСТ» , 117418 Москва, Нахимовский пр-т, д. 31, к. 2.
