ГОСТ Р 54411-2018 Информационные технологии. Биометрия. Мультимодальные и другие мультибиометрические технологии

ГОСТ Р 54411-2018/ISO/IEC TR 24722:2015

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Информационные технологии

БИОМЕТРИЯ

Мультимодальные и другие мультибиометрические технологии

Information technology. Biometrics. Multimodal and other multibiometric fusion

ОКС 35.040

Дата введения 2019-08-01

Предисловие

1 ПОДГОТОВЛЕН Некоммерческим партнерством "Русское общество содействия развитию биометрических технологий, систем и коммуникаций" (Некоммерческое партнерство "Русское биометрическое общество") и Федеральным государственным унитарным предприятием "Всероссийский научно-исследовательский институт стандартизации и сертификации в машиностроении" (ВНИИНМАШ) на основе собственного перевода на русский язык англоязычной версии стандарта, указанного в пункте 4, при консультативной поддержке Федерального государственного бюджетного образовательного учреждения высшего образования "Московский государственный технический университет имени Н.Э.Баумана (национальный исследовательский университет)" (МГТУ им.Н.Э.Баумана)

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 098 "Биометрия и биомониторинг"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 30 ноября 2018 г. N 1045-ст

4 Настоящий стандарт идентичен международному документу ISO/IEC TR 24722:2015* "Информационные технологии. Биометрия. Мультимодальные и другие мультибиометрические технологии" (ISO/IEC TR 24722:2015 "Information Technology - Biometrics - Multimodal and other multibiometric fusion", IDT).

________________

* Доступ к международным и зарубежным документам, упомянутым в тексте, можно получить, обратившись в Службу поддержки пользователей. - .

Дополнительные сноски в тексте стандарта, выделенные курсивом, приведены для пояснения текста оригинала

5 ВЗАМЕН ГОСТ Р 54411-2011/ISO/IEC TR 24722:2007

6 Некоторые элементы настоящего стандарта могут быть объектами патентных прав. Международная организация по стандартизации (ИСО) и Международная электротехническая комиссия (МЭК) не несут ответственности за установление подлинности каких-либо или всех таких патентных прав

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)

Введение

Для реализации некоторых биометрических приложений требуется такой уровень технических характеристик, который трудно обеспечить с помощью одной биометрической характеристики. Такие приложения позволяют избегать использования нескольких приложений для проверки документов, удостоверяющих личность, обеспечения безопасности при авиаперелетах и удаленной идентификации. Кроме того, такие приложения необходимы для людей, которые по той или иной причине не могут предоставить качественные биометрические образцы некоторых биометрических характеристик.

Использование большого числа биометрических характеристик, получаемых в результате применения нескольких независимых датчиков, алгоритмов или модальностей, как правило, обеспечивает улучшение технических характеристик и снижение уровня риска. К данным характеристикам относятся также эксплуатационные характеристики в случае, когда доступны не все биометрические характеристики, так как обеспечивается возможность принятия решения о допуске/недопуске пользователя при наличии любого числа биометрических характеристик.

Среди различных форм мультибиометрических систем потенциал мультимодальных биометрических систем, каждая из которых использует независимое измерение, рассматривается в технической литературе с 1974 года [22], [45]. Усовершенствованные методы комбинирования измерений на уровне результатов сравнения приведены в [15] и [16]. На текущем уровне понимания комбинирование на уровне результатов сравнения, как правило, требует знания распределений как подлинных лиц, так и "самозванцев". Все эти измерения сильно зависят от приложения и обычно неизвестны в любой реальной биометрической системе.

Продолжаются исследования методов, не требующих предварительного знания о распределениях результатов сравнения, и объединений как на уровне изображений, так и на уровне биометрических признаков.

Учитывая состояние исследований в настоящее время в этих вопросах и сильную зависимость от приложения, а также, как правило, отсутствие сведений, необходимых для правильного объединения на уровне результатов сравнения, можно считать, что работа над мультибиометрическим объединением достигла высокого уровня.

В настоящем стандарте установлены требования к разработке стандартов на мультибиометрические системы, в частности на различные типы объединения.

1 Область применения

Настоящий стандарт распространяется на современные разработки в области мультимодальных и других мультибиометрических технологий.

Настоящий стандарт устанавливает требования к описанию общих понятий методов мультибиометрических объединений, включая мультихарактеристиковое, мультиэкземплярное, мультидатчиковое, мультиалгоритмическое объединения, мультипредъявление, логику на уровне принятия решения и логику на уровне результатов сравнения.

2 Термины и определения

В настоящем разделе приведены две категории терминов:

- термины, относящиеся к мультимодальной и мультибиометрической системам;

- термины, не относящиеся к мультимодальной и мультибиометрической системам, но необходимые для пояснения терминов первой категории, которые не определены в [5].

В настоящем стандарте применены термины по [5], а также следующие термины с соответствующими определениями:

2.1 источник биометрических данных (biometric data source): Канал информации (например, датчики, типы биометрических характеристик, алгоритмы или предъявления), который содержится в первоисточнике данных (например, собранные биометрические образцы, извлеченные биометрические признаки, результат сравнения, ранг или решение), обработанном алгоритмами объединения.

2.2 биометрический процесс (biometric process): Автоматический процесс, использующий одну или более биометрических характеристик одного индивида для биометрической регистрации, верификации или идентификации.

2.3 биометрическое объединение (biometric fusion): Комбинация данных нескольких источников, то есть датчиков, типов биометрических характеристик, алгоритмов, экземпляров и предъявлений.

2.4 последовательная система (cascaded system): Система, использующая пороги принятия решения для биометрических образцов с целью определения того, требуются ли дополнительные биометрические образцы для принятия решения о допуске/недопуске.

2.5 многоуровневая система (layered system): Система, использующая отдельные результаты сравнения с целью определения порогов принятия решения при обработке биометрических данных.

2.6 мультиалгоритмический (multialgorithmic): Использующий несколько алгоритмов для обработки одного биометрического образца.

2.7 мультибиометрический (multibiometric): Использующий несколько биометрических технологий, которые могут быть комбинированы на уровне изображений, биометрических признаков, результатов сравнения и/или принятия решения.

Примечание - В мультибиометрии различают пять категорий: мультихарактеристиковая (2.10), мультиэкземплярная (2.11), мультидатчиковая (2.13), мультиалгоритмическая (2.6) и мультипредъявление (2.12).

2.8 мультибиометрический процесс (multibiometric process): Биометрический процесс (2.2), включающий в себя применение биометрического объединения (2.3).

2.9 мультибиометрия (multibiometrics): Автоматическое распознавание индивидов, основанное на их поведенческих и биологических характеристиках и включающее в себя применение биометрического объединения (2.3).

2.10 мультихарактеристиковый; мультитиповый (multi-characteristic-type, multi-type): Использующий данные от нескольких типов биометрических характеристик.

Пример - Типы биометрических характеристик включают: лицо, голос, палец, радужную оболочку глаза, сетчатку, геометрию руки, динамику рукописной подписи/подпись, динамику нажатия клавиш на клавиатуре, движение губ, походку, сосудистое русло, ДНК, ухо, ногу, запах и так далее.

2.11 мультиэкземплярный (multiinstance): Использующий несколько биометрических экземпляров в рамках одного типа биометрической характеристики.

Пример - Радужная оболочка глаза (левая) + радужная оболочка глаза (правая), отпечаток пальца (левого указательного) + отпечаток пальца (правого указательного).

2.12 мультипредъявление (multipresentation): Использование нескольких предъявлений биометрических образцов одного экземпляра биометрической характеристики или единственного предъявления, являющегося результатом сбора нескольких биометрических образцов.

Пример - Несколько кадров изображения лица, полученных с помощью видеокамеры (возможно, но необязательно последовательных).

Примечание - При использовании объединения биометрия мультипредъявления является формой мультибиометрии (2.9), если применены методы объединения. Несколько методов объединения и нормализации применяют для обобщения данных нескольких предъявлений одного биометрического экземпляра.

2.13 мультидатчиковый (multisensorial): Использующий несколько датчиков для сбора биометрических образцов одного биометрического экземпляра.

Примеры

1 Для лица: датчики для получения изображений в инфракрасном и в видимом диапазонах длин волн, датчики для получения двухмерных и трехмерных изображений.

2 Для отпечатка пальца: оптические, электростатические и акустические датчики.

2.14 последовательное предъявление (sequential presentation): Предъявление биометрических образцов в виде отдельных событий для использования при биометрическом объединении.

2.15 одновременное предъявление (simultaneous presentation): Предъявление биометрических образцов в виде одного события для использования при биометрическом объединении.

3 Обзор мультимодальных и других мультибиометрических систем

3.1 Общие положения

Понятия "мультимодальный" и "мультибиометрический" указывают на применение более одного типа биометрической характеристики, одного датчика, одного экземпляра и/или алгоритма в той или иной комбинации для принятия определенного решения в отношении биометрической идентификации или верификации. Метод объединения нескольких биометрических образцов, результатов сравнения или решений о сравнении может быть элементарным или сложным с математической точки зрения. В настоящем стандарте под любым методом комбинирования подразумевается одна из форм объединения. Методы комбинирования рассмотрены в разделе 4.

Мультимодальная биометрия появилась в 70-х годах XX века. Комбинированные измерения стали рассматриваться как перспективные для биометрических систем. Считалось, что комбинация нескольких измерений повысит уровень безопасности путем уменьшения вероятности ложного допуска (ВЛД), а также уровень удобства пользователя путем уменьшения вероятности ложного недопуска (ВЛНД). Применение данных методов обеспечило успешное внедрение автоматизированной дактилоскопической информационной системы (АДИС), начатое в 1980-е годы. В АДИС ранее не использовались мультимодальные технологии, однако большинство методов объединения, приведенных в настоящем стандарте, успешно реализованы при использовании только отпечатков пальцев. Некоторые виды объединения, реализованные в АДИС, включают в себя:

- объединение изображений (биометрических образцов) для создания одного прокатанного изображения на основе серии плоских оттисков, полученных с помощью биометрического сканера в режиме реального времени;

- объединение биометрических шаблонов при использовании алгоритмов извлечения нескольких биометрических признаков из каждого изображения отпечатка пальца;

- мультиэкземплярное объединение при использовании отпечатков десяти пальцев;

- объединение мультипредъявлений при использовании прокатанных и оттисковых изображений отпечатков пальцев;

- объединение алгоритмов с целью повышения эффективности (уменьшения затрат, уменьшения количества вычислений, увеличения пропускной способности). В основном компараторы применяют как набор фильтров в порядке возрастания вычислительной сложности. Данные компараторы, как правило, реализуют объединение на уровне принятия решения и объединение на уровне результатов сравнения;

- объединение алгоритмов с целью повышения точности (уменьшения ВЛД и/или ВЛНД, снижения чувствительности к данным низкого качества). Компараторы применяют параллельно с объединением конечных результатов сравнения.

Методы объединения способствовали внедрению АДИС, так как обеспечили улучшение показателей точности и эффективности.

До настоящего момента в работах по мультибиометрии внимание акцентировалось только на уменьшении числа ошибок ложного допуска и ложного недопуска. В [64] рассмотрено использование мультибиометрии в целях улучшения показателей удобства применения, безопасности и точности. Также применение мультибиометрии способствует снижению вероятности ошибки биометрической регистрации (ВОБР), особенно в биометрических системах, где не предусмотрено кооперативное использование (например, системы видеонаблюдения). Мультибиометрия - это попытка получения биометрического решения, даже если была собрана только часть предусмотренных биометрических характеристик [66].

Основные различия между мультибиометрическими категориями приведены в таблице 1.

Таблица 1 - Элементарные двухкомпонентные мультибиометрические категории


Категория	Тип биометрической характеристики	Алгоритм	Экземпляр	Датчик
Мультихарактеристиковая	2 (всегда)	2 (всегда)	2 (всегда)	2 (обычно)
Мультиалгоритмическая	1 (всегда)	2 (всегда)	1 (всегда)	1 (всегда)
Мультиэкземплярная	1 (всегда)	1 (всегда)	2 (всегда)	1 (обычно)
Мультидатчиковая	1 (всегда)	1 (обычно)	1 (всегда, тот же экземпляр)	2 (всегда)
Мультипредставление	1	1	1	1
Возможны случаи, когда два биометрических образца с разных датчиков могут быть обработаны сначала с помощью отдельных алгоритмов выделения биометрических признаков, а затем с помощью общего алгоритма сравнения ("полуторный алгоритм") или с помощью двух разных алгоритмов. Исключением является случай, когда мультихарактеристиковую систему с одним датчиком используют для получения двух разных типов биометрических характеристик. Например, изображение высокого разрешения используют для выделения лица и радужки или лица и структуры лица. Исключением может являться использование двух отдельных датчиков для сбора одного экземпляра, например двухпальцевого биометрического сканера отпечатков пальцев.

Мультихарактеристиковые биометрические системы принимают входящий сигнал с одного или множества датчиков, которые получают биометрические характеристики двух или более модальностей. Например, одна система, комбинирующая информацию о лице и радужной оболочке глаза для биометрического распознавания, рассматривается как мультихарактеристиковая система независимо от того, разными биометрическими сканерами были получены изображения лица и радужной оболочки глаза или одним и тем же. Не требуется, чтобы разные измерения были объединены математически. Например, система с распознаванием отпечатка пальца и голоса будет считаться мультихарактеристиковой даже при использовании алгоритма "ИЛИ", позволяющего распознавать пользователя с помощью того или другого типа биометрической характеристики.

Мультиалгоритмические биометрические системы получают один биометрический образец с одного датчика и обрабатывают данный биометрический образец с помощью двух и более алгоритмов. Данный метод может быть применен к любому типу биометрической характеристики. Максимальный эффект может быть получен при применении алгоритмов, основанных на различных независимых принципах, таких как биометрические признаки, которые извлекают из биометрического образца (например, контрольные точки отпечатка пальца по сравнению с изображением отпечатка пальца) или подходы к сравнению (например, разные алгоритмы сравнения контрольных точек).

Мультиэкземплярные биометрические системы применяют один (несколько) датчик(ов) для получения биометрических образцов двух или более различных экземпляров одной и той же биометрической характеристики. Например, системы, получающие изображения нескольких пальцев, считают мультиэкземплярными, а не мультихарактеристиковыми. Однако системы, получающие, например, последовательные кадры изображений лица или радужной оболочки глаза, рассматривают как системы мультипредъявления, а не мультиэкземплярные.

Мультидатчиковые биометрические системы получают один и тот же экземпляр биометрической характеристики с помощью двух или более различных датчиков. Обработку нескольких биометрических образцов проводят с помощью одного алгоритма или комбинации нескольких алгоритмов. Например, в приложении по распознаванию лица можно использовать как камеру, работающую в видимом диапазоне, так и инфракрасную камеру, работающую на определенной длине(ах) волны (волн) инфракрасного излучения.

Для определенных приложений при эксплуатации существует множество компромиссных решений, позволяющих улучшить эксплуатационные характеристики (точность биометрической идентификации или верификации, скорость и пропускную способность системы, устойчивость к ошибкам и потребность в ресурсах), повысить устойчивость к обману, удобство использования, устойчивость к воздействию факторов окружающей среды, снизить затраты [40].

Для крупномасштабных систем распознавания личности существуют дополнительные требования, такие как эффективность работы и наличие технической поддержки, надежность, стоимость приобретения, стоимость жизненного цикла и плановый ответ системы на известные способы атаки, влияющие на корректную работу системы [40].

3.2 Одновременное и последовательное предъявления

3.2.1 Обобщенная модель мультибиометрической системы

Обобщенная модель мультибиометрической системы изображена на рисунке 1. В данной модели присутствуют три биометрических образца (, , ) трех уникальных типов биометрических характеристик, кроме случаев, когда указано иное. Субъект предъявляет системе биометрическую(ие) характеристику(и). Существуют два метода предъявления биометрических характеристик в зависимости от схемы системы: 1) одновременный и 2) последовательный.

Примечание - Метод предъявления данных (одновременный или последовательный) обуславливает метод объединения или совсем отличается от него. Данная информация приведена с целью иллюстрации факторов, которые могут влиять на схему мультибиометрической системы.

3.2.2 Одновременное предъявление

При одновременном предъявлении получают биометрический(ие) образец(цы) нескольких типов биометрических характеристик как одно событие (например, лицо и радужная оболочка глаза, зарегистрированные одной камерой). Схемы систем, в которых используют одновременное получение биометрических данных, следует применять в приложениях с высокой пропускной способностью за счет возможного дополнительного усложнения (для синхронизации набора биометрических образцов) или за счет трудности при использовании (дуальное взаимодействие датчиков, постановка пользователем нескольких задач).

Рисунок 1 - Модель мультибиометрической системы

3.2.3 Последовательное предъявление

При последовательном предъявлении биометрический(ие) образец(цы) получают от одного или нескольких типов биометрических характеристик как отдельные события. Последовательное предъявление может быть осуществлено с помощью трех следующих методов. Первый - мультиэкземплярный метод заключается в использовании двух или более экземпляров одного типа биометрической характеристики, например отпечатка левого указательного пальца и отпечатка правого указательного пальца. В данном примере единственный биометрический сканер, позволяющий получить цифровое изображение отпечатка пальца, используют последовательно дважды. Второй - мультихарактеристиковый метод заключается в использовании нескольких типов биометрических характеристик, собранных с одного или более датчиков, например последовательное получение изображений руки и лица. Третий - мультидатчиковый метод заключается в использовании двух или более отдельных датчиков для сбора одной(их) биометрической(их) характеристики(к) субъекта, но не одновременно. Во избежание путаницы с мультихарактеристиковым методом, когда возможен сбор биометрического(их) признака(ов) с двух или более отдельных датчиков, мультидатчиковый метод называют "унихарактеристиковый метод". Примерами для распознавания лица являются датчики для получения изображений в инфракрасном и в видимом диапазонах длин волн, датчики для получения двухмерных и трехмерных изображений; датчики для получения отпечатка пальца: оптические, электростатические и акустические.

3.3 Взаимосвязь данных

В мультимодальных биометрических системах объединяемые данные могут быть взаимосвязаны на нескольких уровнях [56]:

- взаимосвязь между типами биометрических характеристик: данная взаимосвязь имеет отношение к биометрическим образцам, которые физически связаны, например речь и движение губ пользователя;

- взаимосвязь, возникающая вследствие идентичности биометрических образцов: случай в мультиалгоритмических системах, когда один и тот же биометрический образец (например, изображение отпечатка пальца) или подмножества биометрического образца (например, голос, когда весь биометрический образец может быть использован одним алгоритмом и часть биометрического образца - другим) используются разными алгоритмами извлечения биометрических признаков и алгоритмов сравнения (например, сопоставление на основе контрольных точек и сопоставление на основе текстуры);

- взаимосвязь значений биометрических признаков: подмножество значений биометрических признаков, представляющих собой векторы биометрических признаков разных типов биометрических характеристик, могут быть взаимосвязаны, например площадь ладони пользователя (геометрия кисти руки) может быть связана с шириной лица;

- взаимосвязь экземпляров, возникающая при общей технике эксплуатации (например, использование одного и того же биометрического сканера, один и тот же уровень подготовки оператора);

- взаимосвязь экземпляров, возникающая вследствие особенностей субъекта (например, цветные контактные линзы на обоих глазах).

Для определения уровня взаимосвязи необходимо проверить результаты сравнения (или решение о допуске/недопуске), имеющие отношение к компараторам, используемым в схеме объединения. В [56] указано, что объединение взаимно независимых классификаторов приводит к значительному улучшению эффективности сравнения.

Для двух достаточно точных классификаторов, включенных в схему объединения, выходные данные, полученные на основе входных данных от одного и того же субъекта, могут быть взаимосвязаны. Поэтому целесообразно рассматривать взаимосвязь ошибок классификаторов согласно [20].

Корреляцию вычисляют по формуле

где - число тестируемых классификаторов;

- общее число входных данных;

- число входных данных, ошибочно классифицируемых всеми классификаторами при использовании порога ;

- число входных данных, правильно классифицируемых всеми классификаторами при использовании порога .

Примечание - Формулу используют для вычисления корреляции ошибок на уровне принятия решения.

4 Уровни комбинации

4.1 Общие положения

Для определения уровней комбинации в мультибиометрических системах в настоящем разделе приведен элементарный биометрический процесс, а также блоки, входящие в него, на примере системы аутентификации. На рисунке 2 показана блок-схема элементарного биометрического процесса.

Рисунок 2 - Элементарный (универсальный) биометрический процесс

Биометрический образец, полученный с биометрического сканера (например, изображение отпечатка пальца), направляют в модуль извлечения биометрических признаков. В модуле извлечения биометрических признаков с помощью методов обработки сигналов происходит преобразование биометрического образца в биометрические признаки (например, контрольные точки отпечатка пальца), формирующее представление, подходящее для процесса сравнения. Как правило, несколько биометрических признаков собирают в вектор биометрических признаков. На вход модуля сравнения поступает вектор биометрических признаков, который сравнивают с имеющимся контрольным биометрическим шаблоном. Полученный результат сравнения используют в модуле принятия решения для определения (например, с помощью порога), соответствует ли представленный биометрический образец имеющемуся биометрическому контрольному шаблону. Результат данного решения является бинарным: соответствует или не соответствует.

В мультибиометрии выделяют несколько уровней, на которых может происходить объединение:

a) уровень принятия решения: каждый элементарный биометрический процесс на выходе предоставляет булев результат; эти результаты объединяются с помощью комбинирующего алгоритма, такого как логические функции "И" и "ИЛИ", используя параметры, такие как показатели качества биометрического образца, в качестве входных данных;

b) уровень результатов сравнения: каждый элементарный биометрический процесс, как правило, предоставляет на выходе один или несколько результатов сравнения, которые объединяются в один результат сравнения или одно решение, в дальнейшем сравниваемое с порогом принятия решения системы;

c) уровень биометрических признаков: каждый элементарный биометрический процесс предоставляет на выходе набор биометрических признаков, которые объединяются в один набор биометрических признаков или вектор;

d) уровень биометрических образцов: каждый элементарный биометрический процесс предоставляет на выходе набор биометрических образцов, которые объединяются в один биометрический образец.

Объединение на уровнях a) и b) происходит после сравнения, объединение на уровнях с) и d) происходит до сравнения. Несмотря на то что объединение возможно на всех уровнях, объединение на уровне биометрических признаков, на уровне результатов сравнения и на уровне принятия решения используют наиболее часто. На рисунке 3 представлены различные уровни объединения для мультимодальной системы [7], [41].

Рисунок 3, лист 1 - Уровни объединения для мультимодальной системы

d) Объединение на уровне биометрических образцов

Рисунок 3, лист 2

Примечание - Биометрический образец 1 и биометрический образец 2 на рисунке 3 c) могут быть одним биометрическим образцом.

Для одновременного или последовательного получения биометрического образца извлекают биометрические признаки и сопоставляют с биометрическим контрольным шаблоном. , и (см. рисунок 1) относятся к результату сравнения после сравнения с биометрическим контрольным шаблоном. Процесс определения результатов сравнения зависит от системы и не рассматривается в настоящем стандарте. Затем результаты сравнения , и поступают в модуль объединения для получения итогового результата. В мультибиометрических системах объединение может происходить на уровне принятия решения или на уровне результатов сравнения.

4.2 Объединение на уровне принятия решения

4.2.1 Простое объединение на уровне принятия решения

Объединение на уровне принятия решения происходит после того, как для каждого биометрического компонента будет принято решение о сравнении, основанное на бинарном результате (совпадение/несовпадение) модуля принятия решения [см. рисунок 3 a)].

Для биометрических систем, состоящих из небольшого числа компонентов, рекомендуется присвоить логические показатели выходным данным сравнения, чтобы правила объединения можно было выразить как логические функции. Значения двух наиболее часто применяемых логических функций "И" и "ИЛИ" для двух блоков выходных данных уровня принятия решения представлены в таблице 2.

Таблица 2 - Значение логических функций "И" и "ИЛИ" при объединении решений для двух типов биометрических характеристик


Решение для 1-й биометрической характеристики	Решение для 2-й биометрической характеристики	Результат объединения "И"	Результат объединения "ИЛИ"
Х	Х	Х	Х
Х		Х
	Х	Х

Примечание - X - несовпадение, - совпадение.

Для биометрических систем, использующих несколько компонентов, разработаны схемы голосования в качестве правил объединения, наиболее распространенным из которых является правило голосования путем большинства. Логические функции "И" и "ИЛИ" являются конкретными примерами схемы голосования.

4.2.2 Модифицированное объединение на уровне принятия решения

4.2.2.1 Обобщенная модель

Объединение на уровне принятия решения основано на индивидуальных для каждого биометрического образца решениях о допуске/недопуске. Существуют два вида модифицированных объединений на уровне принятия решения: многоуровневое объединение и последовательное объединение. В многоуровневой системе применяют настраиваемые пороги, вычисленные с помощью индивидуальных биометрических результатов сравнения для определения порогов принятия решения для обработки других биометрических данных. В последовательной системе применяют фиксированные пороги биометрических образцов конкретного типа биометрических характеристик для определения, требуются ли дополнительные биометрические образцы других типов биометрических характеристик для принятия общего системного решения. Схемы объединения на уровне принятия решения для вышеуказанных видов приведены на рисунке 4.

4.2.2.2 Многоуровневая система

Независимо от того, является ли предъявление одновременным или последовательным, результат сравнения поступает на вход многоуровневой системы. Система обрабатывает результат сравнения с учетом установленного порога. Если результат сравнения проходит критерий/порог для типа биометрической характеристики , то на основании выходных данных регулируют (повышают или понижают) порог, необходимый для прохождения типа биометрической характеристики . Если не проходит критерий/порог для типа биометрической характеристики , то на основании выходных данных следует повысить порог, необходимый для типа биометрической характеристики . После окончания обработки и сброса порогов для типа биометрической характеристики результат сравнения поступает на вход системы. Аналогично процесс повторяется для и . После окончания обработки типа биометрической характеристики принимают окончательное решение о допуске/недопуске.

4.2.2.3 Последовательная система

Независимо от того, является ли предъявление одновременным или последовательным, последовательные системы основываются на данных по крайней мере одного биометрического образца.

Если первый биометрический образец не соответствует требованиям, то происходит сравнение дополнительных биометрических образцов. Согласно рисунку 4 результат сравнения поступает на вход системы и сравнивается с порогом . Если результат сравнения превышает порог , то последующее решение принимают на основании уровня достоверности результата (которая может зависеть от качества биометрического образца). Если уровень достоверности является достаточным, то принимается положительное решение о допуске. Если результат сравнения не превышает порог или превышает, но оказывается недостаточно достоверным, то последовательная система использует результат сравнения . Данный процесс повторяется для результатов сравнения и . В последовательных системах могут не использоваться результаты сравнения и , если результат сравнения Р1 превышает порог и имеет достаточный уровень достоверности.

4.3 Объединение на уровне результатов сравнения

4.3.1 Общие положения

При объединении на уровне результатов сравнения каждая система предоставляет результат сравнения вектора биометрических признаков и вектора биометрического контрольного шаблона. Данные результаты сравнения в дальнейшем могут быть комбинированы с целью повышения эффективности сравнения.

С теоретической точки зрения биометрические процессы могут быть комбинированными для гарантированного повышения эффективности сравнения. Результаты сравнения любого количества процессов могут быть скомбинированы таким образом, что мультибиометрическая комбинация (в среднем) будет не хуже, чем лучший из отдельных биометрических процессов. Основной задачей является правильный выбор метода комбинирования данных и повышения эффективности сравнения.

Алгоритм действий для комбинации результатов сравнения в мультибиометрической системе должен соответствовать хотя бы двум основополагающим правилам. Во-первых, каждый биометрический процесс должен предоставить результат сравнения, а не однозначное решение о допуске/недопуске, и передать его мультибиометрическому сумматору. Во-вторых, еще до начала эксплуатации мультибиометрическому сумматору должны быть переданы технические характеристики (такие как распределения результатов сравнения) каждого биометрического процесса в установленной форме (и с достаточной характеризацией).

Рисунок 4 - Детализированное объединение на уровне принятия решения

Как система биометрической верификации (1:1), так и система биометрической идентификации (1:N) поддерживают объединение на уровне результатов сравнения. Однако системы идентификации также могут интегрировать доступную информацию на уровне рангов (что является формой уровня результатов сравнения с множеством результатов сравнения или биометрическими признаками, основанными на результатах сравнения). В системах идентификации шаблон биометрического образца сравнивают с шаблонами из базы данных, в результате чего образуется ряд результатов сравнения. В [23] описаны три метода объединения рангов, установленных разными компараторами. В методе высшего ранга при обработке разными компараторами каждому возможному совпадению присваивают высший (максимальный) ранг. При приведении к ранжированной последовательности привязки нарушаются, а итоговое решение принимают на основе объединенных рангов. В методе подсчета Борда применяется сумма рангов, назначенная индивидуальными компараторами для подсчета объединенного ранга. Метод логистической регрессии является обобщенным методом подсчета Борда, когда подсчитывают сумму индивидуальных рангов с присвоенным весовым коэффициентом, а веса определяют с помощью логистической регрессии.

4.3.2 Нормализация результатов сравнения

При применении метода нормализации результатов сравнения осуществляют попытку расположить результат сравнения каждого биометрического процесса в общей области. Некоторые подходы основаны на лемме Неймана - Пирсона с упрощением предположений. Например, приведение результатов сравнения к отношениям правдоподобия позволяет комбинировать их путем умножения при условии предположения о независимости. Другие подходы могут быть основаны на изменении иных статистических критериев распределений результатов сравнения.

Параметры, применяемые при нормализации, могут быть определены с помощью установленной обучающей последовательности или основаны на текущем векторе биометрических признаков. Вычисленная характеристика может относиться только к "оценочным результатам сравнения" базовых характеристик выборки. Нормализация результатов сравнения связана с объединением на уровне результатов сравнения, так как она влияет на способ комбинирования результатов сравнения и то, как они интерпретируются в терминах эксплуатационных характеристик биометрической системы согласно [32]:

a) результаты сравнения на выходе отдельных компараторов могут быть неоднородными. Например, на выходе одного компаратора окажется измерение различий, а на выходе другого - измерение схожести;

b) выходные данные отдельных компараторов могут находиться не на одной числовой шкале (не в одной области);

c) результаты сравнения на выходе компараторов могут иметь различное статистическое распределение.

По этим причинам результаты сравнения, как правило, нормализуются в общую область до объединения. На рисунке 5 изображена схема объединения на уровне результатов сравнения для обработки двух биометрических образцов с учетом нормализации.

Рисунок 5 - Структура объединения на уровне результатов сравнения

В таблице 3 приведены обозначения, используемые также в таблице 4.

В таблице 4 приведены наиболее распространенные методы нормализации результатов сравнения. Некоторые методы объединения непосредственно используют функции плотности распределения вероятностей (ФПРВ) и требуют применения методов нормализации. В некоторых случаях ФПРВ применяют для преобразования исходных результатов сравнения непосредственно в ВЛД, что приводит, таким образом, к принятию решения без необходимости перенесения исходных результатов сравнения в нормированную область значений при помощи нормализации.

Таблица 3 - Обозначения, используемые в формулах нормализации результатов сравнения


Статистический	Обозначения
параметр	Распределение подлинных лиц	Распределение "самозванцев"	Распределение подлинных лиц и "самозванцев"
Минимальное значение
Максимальное значение
Среднее значение
Медиана
Стандартное отклонение
Константа
ФПРВ			-
Центр перекрытия ФПРВ
Ширина перекрытия ФПРВ
Примечание - - степень подобия, - подлинное лицо, - "самозванец", - подлинное лицо и "самозванец".

Таблица 4 - Примеры методов нормализации результатов сравнения


Метод	Формула	Элементы данных	Примечание
Минимум - максимум (ММ)		;	В данном методе используют эмпирические данные (теоретические или предоставленные разработчиком предельные значения). Метод не учитывает нелинейность
Показатель Z		;	Данный метод предполагает нормальное распределение, позволяет осуществлять симметричную нормализацию относительно среднего значения, предполагает стабильность обоих распределений по выборкам
Абсолютное медианное отклонение (MAD)		;	Данный метод предполагает стабильность обоих распределений по выборкам
Гиперболический тангенс (Tahn)		;	В данном методе используется среднее значение и изменение распределения преобразованных данных. Метод предполагает стабильность обоих распределений по выборкам
Адаптивный (AD) [62]: a) биквадратичный (QQ)		; ; ; ;	Данный метод предполагает нелинейность, включает в себя три метода моделирования; предполагает стабильность обоих распределений по выборкам. - показатель адаптивной нормализации; - показатель нормализации при использовании метода минимума-максимума; - центр перекрытия результатов сравнения подлинных лиц и "самозванцев"; - ширина перекрытия; - малая величина (0,01 по [62])
b) логический
c) квадратичный - линейный - квадратичный (QLQ)
Биометрический коэффициент усиления против "самозванцев" (BGI)	, где - значение при результате сравнения ; - значение при результате сравнения	;	Метод предполагает стабильность обоих распределений по выборкам
BioAPI			Метод предполагает стабильность распределения "самозванцев"
Метод подсчета Борда	N - ранг (S), где N - число альтернатив	Ранг	Метод применяют только при сравнении 1:N
Примечание - В таблице представлены два типа метода нормализации: 1 - метод, преобразующий параметры расположения и масштаба распределения результатов сравнения, и 2 - метод, определяющий только область перекрытия результатов сравнения подлинных лиц и "самозванцев". Таким образом, методы MM, показателя Z, MAD и Tahn относятся к типу 1, а методы QQ и QLQ к типу 2. Обычно метод типа 2 применяют после использования одного из методов типа 1 [62].

4.3.3 Методы объединения результатов сравнения

Если выходными данными отдельных биометрических систем сравнения являются набор возможных совпадений, а также степень качества каждого совпадения (результат сравнения), интеграция может быть выполнена на уровне результатов сравнения. Данную интеграцию также называют объединением на уровне характеристик или на уровне доверия. Результат сравнения на выходе, полученный с компаратора, содержит наиболее полную информацию о входном биометрическом образце, но не включает в себя информацию на уровне биометрических признаков и датчиков. Кроме того, проще получить доступ и комбинировать результаты сравнения, представленные несколькими различными компараторами. Вследствие этого интеграция данных на уровне результатов сравнения является наиболее распространенным подходом в мультимодальных биометрических системах. В таблице 5 приведены основные принципы нескольких методов объединения и соответствующие данные, характеризующие эффективность сравнения.

Примечание - Это справедливо только в том случае, если ранг и/или результат сравнения доступны для всех биометрических контрольных шаблонов, присутствующих в наборе возможных совпадений, предоставленных каждым алгоритмом.

В случае биометрической верификации применяют два метода объединения на уровне результатов сравнения. Один заключается в трактовке объединения как задачи классификации, второй - как задачи комбинации [32], [35]. При классификационном методе вектор биометрических признаков создается с помощью выходных результатов сравнения, полученных с отдельных компараторов. Затем вектор биометрических признаков относят к одному из двух классов: "допуск" (подлинное лицо) или "недопуск" ("самозванец"). Классификатор, используемый в этих целях (например, дерево принятия решений, нейронная сеть, метод опорных векторов, метод k-ближайших соседей, ансамбль решающих деревьев и так далее), позволяет определить разделяющую поверхность, независимо от способа создания вектора биометрических признаков [6], [64], [65]. Вследствие этого выходные результаты сравнения разных типов биометрических характеристик могут быть неоднородными (степень различия или схожести, разные области числовых значений и так далее), и до их предоставления классификатору обработка не требуется. При комбинационном методе отдельные результаты сравнения объединяют для создания единого скалярного результата сравнения, который впоследствии применяют для принятия окончательного решения [38]. Для обеспечения объединения результатов сравнения разных типов биометрических характеристик результаты сравнения еще до объединения, в случае необходимости, могут быть переведены в общую область. Это действие называется нормализацией результатов сравнения (см. 4.3.2 и [27]).

При классификационном методе применяют схему модуля объединения для поиска оптимального классификатора для разделения пользователей на два класса: подлинных лиц и "самозванцев". Для этого классификатор определяет две области принятия решения в пространстве вектора биометрических признаков: первую - для класса подлинных лиц и вторую - для класса "самозванцев". Данные области отделены друг от друга разделяющей поверхностью, форма которой должна быть оптимизирована в процессе разработки схемы модуля объединения. Разделяющая поверхность может иметь разную форму в зависимости от сложности и характера распределения двух классов. Она может быть простой (например, линия в линейных дискриминантных функциях) или более сложной (например, как в многослойных нейронных сетях и методах опорных векторов). Разделяющие поверхности могут быть определены статистическими методами, например методом отношения правдоподобия Неймана-Пирсона. Независимо от выбранного метода основная цель заключается в нахождении разделяющих поверхностей, улучшающих процесс классификации для соответствующих приложений.

Комбинационные методы представляют собой простые и эффективные методы биометрического объединения в том случае, если результаты сравнения однородны или могут быть нормализированы. Именно из-за простоты и эффективности комбинационные методы являются одними из наиболее часто применяемых методов в мультибиометрических системах. Теоретическая структура комбинационных классификаторов Киттлера [38] описывает наиболее распространенные методы: произведение, сумму, максимум, минимум, усреднение. Каждый из этих методов использует простые или основанные на правилах арифметические действия для комбинирования результаты сравнения нескольких источников. Данные методы позволяют присваивать вес результату(ам) сравнения [1]. При наличии большого количества информации о распределении результатов сравнения применяют байесовские статистические вычисления при комбинировании результатов сравнения различных компараторов согласно [3]. В данных методах учитывается оценочная точность отдельных классификаторов в процессе объединения. В общем случае процесс объединения считают выполненным по Байесу, если имеется достаточно данных для обучения. и обозначают плотности вероятности распределения результата сравнения (соответствующего -й модальности), исходя из предположений "подлинное лицо" и "самозванец" соответственно. Простой классификатор Байеса (ПКБ) принимает решение о совпадении/несовпадении, основываясь на апостериорных плотностях вероятностей (, , …, ) и (, , …, ). При недостатке данных для обучения (результаты сравнения подлинного лица и "самозванца" совпадают) правильно оценить плотность совместного распределения, включающую в себя несколько типов характеристик, невозможно. Таким образом, апостериорная вероятность может быть оценена по произведению отдельных плотностей вероятности, то есть (, , …, )= и (, , …, )=.

Таблица 5 - Примеры методов объединения результатов сравнения


Метод	Формула	Требуемые данные характеризации
	объединения результатов сравнения	Нет				,	Персо- нальные
Простая сумма		O
Минимальный результат сравнения		O
Максимальный результат сравнения		O
Взвешивание компаратором					o
Взвешивание компаратором с объединением ФПРВ для принятия решения по [64]			o	o
Взвешивание пользователем							o
Взвешенное произведение					o
Сумма вероятностей подлинных лиц			o
Сумма вероятностей "самозванцев"				o
Произведение вероятностей подлинных лиц			o
Произведение вероятностей "самозванцев"				o
BGI [60, 61]			o	o
Отношение правдоподобия по [51]			o	o
k-ближайших соседей	-					o
Дерево принятия решений	-					o
Опорные векторы	-					o
Анализ дискриминанта	-					o
Нейронная сеть	-					o
Примечание - В таблице использованы следующие обозначения и сокращения: - -й биометрический результат сравнения; - число входных данных объединения; - -й нормализованный результат сравнения; - - й весовой коэффициент компаратора; - -й весовой коэффициент пользователя; - -й весовой коэффициент компаратора в случае объединения ФПРВ; - биометрический коэффициент усиления против "самозванцев"; - ФПРВ вероятностей результатов сравнения подлинных лиц для каждой размерности; - ФПРВ результатов сравнения "самозванцев" для каждой размерности; - уровень равной вероятности ошибок; - размерный вектор результатов сравнения подлинных лиц, где - число модальностей; - размерный вектор результатов сравнения самозванцев, где - число модальностей; - значение при результате сравнения ; - значение при результате сравнения .

4.4 Объединение на уровне биометрических признаков

При комбинировании на уровне биометрических признаков объединение биометрических данных происходит после извлечения биометрических признаков до сравнения [см. рисунок 3 c)]. Существуют несколько способов комбинирования биометрических признаков. Наиболее простой заключается в объединении векторов биометрических признаков (или наборов биометрических признаков, если нет скрытой взаимосвязи) и в применении метода классификации биометрических признаков к объединенному вектору признаков. В некоторых случаях применение объединения на уровне биометрических признаков более эффективно, чем применение объединения на уровне результатов сравнения; оно обеспечивает улучшение общих эксплуатационных характеристик. Когда биометрические признаки в мультибиометрии не являются независимыми, удачное объединение на уровне признаков позволяет в некоторых случаях использовать зависимости более полно, чем объединение на уровне результатов сравнения. Нормализацию биометрических признаков обычно используют перед объединением вещественных биометрических признаков (особенно в случае соединения биометрических признаков). Однако в случае объединения двоичных биометрических признаков нормализация биометрических признаков не используется. Это позволяет достичь лучшей общей производительности. На практике объединение на данном уровне сложно реализовать по нескольким причинам:

- векторы биометрических признаков нескольких типов биометрических характеристик могут быть несовместимыми (например, множество контрольных точек пальцев и собственные коэффициенты изображения лица);

- взаимоотношения между пространствами признаков разных биометрических систем могут быть неизвестны;

- соединение двух векторов биометрических признаков может в итоге произвести вектор признаков большой размерности, что приводит к "проклятию" размерности;

- может понадобиться более сложный компаратор для работы с объединенным вектором биометрических признаков в соответствии с [55].

Несмотря на данные сложности, объединение на уровне биометрических признаков было осуществлено в разных условиях. В [5] приведено описание объединения на уровне биометрических признаков типов биометрических характеристик лица и уха, что является свидетельством значительных улучшений производительности. В [41] приведен способ объединения отпечатка ладони и признаков геометрии кисти руки одного человека для улучшения процесса сравнения. Данные, приведенные в этих работах, доказывают, что объединение на уровне результатов сравнения эффективнее объединения на уровне биометрических признаков. Однако в [55] приведено описание объединения типов биометрических характеристик лица и уха пользователя (мультибиометрическая система) наравне с каналами R, G, B изображения лица пользователя (мультидатчиковая система) на уровне биометрических признаков с доказательством того, что схема выбора биометрических признаков может быть необходимой для улучшения процесса сравнения на данном уровне. Таким образом, для объединения данных на уровне биометрических признаков требуется применение соответствующей схемы выбора биометрических признаков.

Биометрические признаки можно комбинировать более сложным способом на уровне алгоритмов путем совместной регистрации. Большинство алгоритмов извлечения биометрических признаков требуют локализации ориентиров для создания общей системы координат для извлечения биометрических признаков. В мультибиометрических системах отдельные компоненты могут обмениваться ориентирами или поддерживать их извлечение на взаимной основе. Этот метод, называемый совместной регистрацией, является одной из форм комбинирования на уровне биометрических признаков. Например, алгоритм распознавания лица может предоставить данные о положении глаза для алгоритма распознавания радужной оболочки глаза, или ориентиры глубины в системах распознавания трехмерного изображения лица могут быть применены для исправления положения лица на изображениях текстуры.

5 Данные характеризации для мультибиометрических систем

5.1 Общие положения

Для мультибиометрических систем одним из наиболее важных аспектов нормализации и комбинирования является происхождение параметров для проведения нормализации и/или комбинирования. В случае комбинирования на уровне результатов сравнения с использованием статистической теории распознавания биометрических образцов требуются ФПРВ результатов сравнения подлинных лиц и "самозванцев". При других случаях комбинирования на уровне результатов сравнения, на уровне биометрических признаков и на уровне принятия решения важными параметрами являются те, которые необходимо получить при характеризации. Таким образом, этот вопрос является универсальным.

В настоящем разделе рассмотрены и проанализированы данные характеризации, ее предполагаемый(ые) источник(и), степени ее точности и адекватности (например, при наличии биометрических образцов небольших размеров или иных ограничений к выборкам образцов характеризации), а также как эти данные используют.

5.2 Применение данных характеризации при нормализации и объединении

При объединении на уровне результатов сравнения комбинируют результаты сравнения одного или более компараторов. В случаях мультихарактеристикового и мультиалгоритмического объединений применяют два или более компаратора. В случаях мультидатчикового и многоэкземплярного объединений и мультипредъявления, как правило, применяют один компаратор, но в любом случае модулю объединения доступно множество результатов сравнения. Распределение результатов сравнения от компараторов обусловлено системой сравнения, а статистика переменных, как правило, не входит ни в одну общую область результатов сравнения. Таким образом, процесс нормализации, описанный в 4.3.2, необходимо провести до процесса объединения. Для проведения процессов нормализации и объединения необходимо обязательное наличие данных характеризации, рассмотренных в настоящем разделе. Самый простой вид таких данных включает в себя параметры расположения или формы каждого распределения результатов сравнения. Например, в схеме объединения результатов сравнения лица и отпечатка пальца будут применяться некоторые априорные оценки по медианному отклонению и абсолютному медианному отклонению (см. таблицу 5) для осуществления процесса нормализации двух результатов сравнения.

Наиболее эффективным является использование полной характеристики распределения результатов сравнения, доступное для распределения результатов сравнения как подлинного лица, так и "самозванца". Таким образом, данные характеризации биометрической системы представляют собой некую репрезентативную сводную информацию о статистическом распределении ее выходных результатов сравнения. Эффективная и простая характеризация является интегральной функцией распределения (ИФР), которая может быть выражена с помощью пар (, ИФР()) или какой-либо функциональной формой данных (см. [18], [36]).

В процессах, основанных на нормализации оценок, объединению предшествует преобразование каждого результата сравнения в общую область. Формат объединения данных, определенный в ИСО/МЭК 29159-1*, предназначен для поддержки любого из общеизвестных преобразований. В ИСО/МЭК 29159-1 установлены стандартизированные средства обмена данными, за счет чего поддержан модульный подход к интеграции биометрических систем, при котором алгоритмы сравнения и объединения остаются защищенными как объекты интеллектуальной собственности. В ИСО/МЭК 29159-1 предусмотрено приложение, в котором две (или более) базовые технологии сбора биометрических данных и сравнения (например, геометрия руки и отпечаток пальца) выдают свой результат сравнения, который поступает в модуль объединения, который был инициализирован с помощью соответствующего экземпляра формата объединения данных, определенного в ИСО/МЭК 29159-1.