ГОСТ Р 59921.6-2021 Системы искусственного интеллекта в клинической медицине. Часть 6. Общие требования к эксплуатации

    ГОСТ Р 59921.6-2021

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

СИСТЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В КЛИНИЧЕСКОЙ МЕДИЦИНЕ

Часть 6

Общие требования к эксплуатации

Artificial Intelligence Systems in Clinical Medicine. Part 6. General performance requirements

ОКС 11.040.01

Дата введения 2022-03-01

Предисловие

1 РАЗРАБОТАН Федеральным государственным бюджетным учреждением "Российский институт стандартизации" (ФГБУ "РСТ"), Государственным бюджетным учреждением здравоохранения города Москвы "Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы" (ГБУЗ "НПКЦ ДиТ ДЗМ")

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 2 декабря 2021 г. N 1673-ст

4 ВВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

Введение

Большинство систем искусственного интеллекта (СИИ), за исключением отдельных случаев, не оказывают непосредственного воздействия на пациентов и пользователей (врачей), выполняя только интерпретацию предоставленных данных и формируя выводы пользователю, в том числе с целью поддержки принятия врачебных решений и оптимизации управления здравоохранением. Несмотря на это, все заявления изготовителя в отношении уровней эффективности и безопасности СИИ (в том числе указанные в маркировке и сопроводительной документации) необходимо регулярно контролировать и подтверждать соответствующими доказательствами в ходе эксплуатации.

1 Область применения

1.1 Настоящий стандарт устанавливает общие требования к эксплуатации систем искусственного интеллекта (СИИ) посредством предъявляемых требований к эксплуатационной документации, обучению пользователей, порядку проведения внутреннего и внешнего контроля качества и эксплуатации пользователями СИИ.

Настоящий стандарт применим к СИИ как программному обеспечению, являющемуся медицинским изделием.

1.2 Настоящий стандарт определяет общие требования к эксплуатации СИИ.

2 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ 19.101 Единая система программной документации. Виды программ и программных документов

ГОСТ 19.105 Единая система программной документации. Общие требования к программным документам

ГОСТ 19.106 Единая система программной документации. Требования к программным документам, выполненным печатным способом

ГОСТ 34.602 Информационная технология. Комплекс стандартов на автоматизированные системы. Техническое задание на создание автоматизированной системы

ГОСТ Р ИСО/МЭК 15408-1 Информационная технология. Методы и средства обеспечения безопасности. Критерии оценки безопасности информационных технологий. Часть 1. Введение и общая модель

ГОСТ Р ИСО/МЭК 15408-2 Информационная технология. Методы и средства обеспечения безопасности. Критерии оценки безопасности информационных технологий. Часть 2. Функциональные компоненты безопасности

ГОСТ Р ИСО/МЭК 15408-3 Информационная технология (ИТ). Методы и средства обеспечения безопасности. Критерии оценки безопасности информационных технологий. Часть 3. Компоненты доверия к безопасности

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

3 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

3.1

Примечания

1 Безопасность систем искусственного интеллекта предполагает их функционирование в соответствии с тем, как определил изготовитель, при использовании по назначению в условиях, предусмотренных изготовителем, и без нарушений безопасности обрабатываемой информации.

2 Условия использования могут включать уровень технических знаний, наличие опыта, образования и специальной подготовки пользователей, наличие заболеваний и данных о физическом состоянии потенциальных пациентов.

3 Безопасность системы искусственного интеллекта предполагает соблюдение требований по защищенности систем искусственного интеллекта и данных, а также прозрачности алгоритмов, бесперебойности, отсутствие ошибок в работе систем искусственного интеллекта и выполнение требований качества (см. [1]).

3.2

3.3

3.4

3.5 качество системы искусственного интеллекта: Совокупность свойств и характеристик системы искусственного интеллекта, влияющих на его способность действовать по назначению при условии соответствия требованиям технической и эксплуатационной документации изготовителя (производителя)

Примечание - См. [1].

3.6

3.7 набор данных: Совокупность данных, прошедших предварительную подготовку (обработку) в соответствии с требованиями законодательства Российской Федерации об информации, информационных технологиях и о защите информации и необходимости для разработки программного обеспечения на основе искусственного интеллекта.

Примечание - См. [2].

3.8

3.9

3.10

3.11

3.12

3.13 эффективность: Совокупность свойств и характеристик систем искусственного интеллекта, обеспечивающих достижение целей предназначения, установленных изготовителем и подтвержденных практикой клинического применения.

4 Общие положения

4.1 Техническая и эксплуатационная документация изготовителя на систему искусственного интеллекта

Изготовитель СИИ должен разрабатывать техническую и эксплуатационную документации, в соответствии с которыми осуществляют производство, применение, эксплуатацию, в том числе техническое обслуживание СИИ [3]. Документация должна быть оформлена в соответствии с ГОСТ 19.101, ГОСТ 19.105 и ГОСТ 19.106, при этом решение о выборе стандарта принимает изготовитель или заказчик СИИ.

Перечень сведений о СИИ, необходимых к раскрытию в технической и эксплуатационной документациях, установлен в нормативных правовых актах [3-6].

Виды эксплуатационных документов и их содержание приведены в таблице 1.

Таблица 1 - Виды эксплуатационных документов

Допускается объединять отдельные виды эксплуатационных документов (за исключением ведомости эксплуатационных документов и формуляра). Необходимость объединения этих документов указывают в техническом задании. Объединенному документу присваивают наименование и обозначение одного из объединяемых документов.

В объединенных документах должны быть приведены сведения, которые необходимо включать в каждый объединяемый документ.

4.2 Требования, предъявляемые к эксплуатации системы искусственного интеллекта

4.2.1 Изготовитель должен установить условия и регламент (режим) эксплуатации СИИ, которые должны обеспечивать использование СИИ с заданными параметрами, в том числе виды и периодичность контроля СИИ или допустимость работы без обслуживания по ГОСТ 34.602.

4.2.2 Изготовитель устанавливает требования к локальным вычислительным сетям и информационно-телекоммуникационной сети Интернет, например:

- скорость передачи данных (например, 10 Мбит/с);

- задержка (время передачи в одну сторону);

- протокол передачи данных;

- время загрузки данных (например, с сервера, к которому подключена СИИ, на компьютер пользователя).

4.2.3 Изготовитель устанавливает минимальные характеристики к электронно-вычислительным машинам пользователя (системные требования), а также требования по установке дополнительных программных обеспечений.

4.2.4 Изготовитель устанавливает требования к входным данным СИИ.

Примечание - Пример для медицинских изображений:

- требования к содержанию технических файлов исследований (наличие соответствующих записей в DICOM-тегах);

- требования к качеству изображений;

- требования к оборудованию, на котором получены изображения;

- и др.

4.2.5 Изготовитель устанавливает максимальное количество пользователей, которые могут одновременно эксплуатировать СИИ.

4.2.6 Изготовитель устанавливает требования по защите данных и по недопущению доступа к СИИ неустановленных пользователей, которые не имеют доступа к обрабатываемой СИИ информации (например, к работе с персональными данными).

4.3 Требования, предъявляемые для корректного пользования системой искусственного интеллекта

4.3.1 Для работы с СИИ изготовитель обязан разработать и предоставить пользовательскую эксплуатационную документацию (руководство пользователя) для работы пользователей с СИИ.

4.3.2 Для обеспечения корректной эксплуатации СИИ к пользователям изготовитель предъявляет требования в эксплуатационной документации.

Перечень требований представлен в приложении А.

4.4 Порядок проведения внутреннего контроля систем искусственного интеллекта

Внутренний контроль СИИ изготовителем необходим для предупреждения, выявления и предотвращения рисков, влияющих на принятие решения врачом, и минимизации последствий их наступления после регистрации СИИ. Внутренний контроль СИИ проходит в установленном изготовителем порядке и с периодичностью, которая указана им на этапе регистрации СИИ в качестве медицинского изделия в документации системы менеджмента качества. Входе внутреннего тестирования (тестирование изготовителя) могут проверяться следующие показатели: время, затрачиваемое СИИ на предоставление ответа конечному пользователю при наличии в СИИ предустановленной функции - расчет времени; некорректное или неполное предоставление результатов обработки; отсутствие результатов обработки и т.п.

В рамках проведения внутреннего контроля СИИ могут быть выявлены малозначительные дефекты и критические дефекты. Устранение малозначительных дефектов, не влияющих на основной функционал системы, должно происходить с обязательным уведомлением пользователя, после чего СИИ необходимо перезапустить или переустановить после внесенных изменений.

Если обнаружен критический дефект, который требует внесения изменений в СИИ, то следует предусмотреть прекращение работы СИИ. Остановка использования СИИ должна быть определена на указанный в документации период времени по заранее согласованной с пользователем процедуре (например, посредством договора на техническое обслуживание) данной остановки. Если ответы СИИ использованы, то необходимо провести переоценку решений, принятых при использовании некорректных данных (что должно быть предусмотрено изготовителем). После устранения дефектов СИИ решение о дальнейшей работе СИИ в реальных условиях принимают в соответствии с действующим законодательством.

По итогам такого внутреннего контроля должен быть сформирован отчет с указанием принятых мероприятий, мер по устранению дефектов и результатов. Досье учитывают при внешней проверке эксплуатации СИИ проверяющими органами.

4.5 Порядок проведения внешнего контроля систем искусственного интеллекта

Внешний контроль осуществляют в случае внесения значительных изменений в СИИ, а также в рамках пострегистрационного мониторинга.

Перед проведением внешнего контроля (внешнего тестирования) СИИ необходимо определить:

а) цель, задачи и сроки проведения контроля (внешнего тестирования);

б) основания для проведения контроля (внешнего тестирования);

в) права и обязанности лиц, участвующих в организации и проведении контроля (внешнего тестирования);

г) порядок регистрации, анализа и использования результатов контроля (внешнего тестирования) [7].

Для СИИ внешний контроль может быть инициирован изготовителем СИИ.

Основными показателями эффективности работы СИИ являются показатели клинической валидации (чувствительность, специфичность и т.п.) или другие характеристики, применимые к конкретной СИИ. Для процедуры внешнего тестирования СИИ с целью внешнего контроля необходимо формировать набор данных с учетом целевой популяции, диагностического устройства, формата представления данных при применении СИИ.

В процессе внешнего контроля СИИ проводят:

а) оценку эффективности, безопасности и качества СИИ;

б) сбор данных, получение результатов, характеризующих качество, эффективность и безопасность СИИ [8].

По окончании внешнего контроля принимают решение о возможности/невозможности дальнейшей работы СИИ в условиях эксплуатации.

4.6 Пострегистрационный мониторинг систем искусственного интеллекта

Безопасность и эффективность СИИ необходимо оценивать также в рамках жизненного цикла после получения регистрационного удостоверения, в том числе путем проведения пострегистрационного мониторинга в соответствии с действующими нормативными правовыми актами.

На всех этапах проведения пострегистрационного мониторинга СИИ необходимо соблюдать требования действующих стандартов по информационной безопасности и защите информации: ГОСТ Р ИСО/МЭК 15408-1, ГОСТ Р ИСО/МЭК 15408-2, ГОСТ Р ИСО/МЭК 15408-3.

5 Требования к результатам эксплуатации систем искусственного интеллекта в клинической медицине

К результатам эксплуатации СИИ в клинической медицине предъявляют следующие требования:

а) результаты применения СИИ в клинической медицине относят к электронным медицинским записям [8];

б) в результатах применения СИИ в клинической медицине в обязательном порядке необходимо фиксировать информацию о наименовании, изготовителе и версии СИИ. Обязательна пометка "требует подтверждение врача";

в) результаты применения СИИ могут быть включены в электронную медицинскую карту пациента для возможного дальнейшего использования врачом.

Приложение А

(справочное)

Перечень требований, устанавливаемый изготовителем к пользователям СИИ

В состав требований включены:

а) уверенное пользование операционной системой электронно-вычислительной машины;

б) обучение и опыт работы в области применения СИИ (компьютерная томография, рентгеновская аппаратура, цифровая флюорография, цифровая маммография, электрокардиография, электронная медицинская карта и т.п.), а также опыт работы с форматами обрабатываемых данных (видео-, аудиофайлы, пиксельное изображение, сигнальные данные, текстовые данные и т.п.);

в) изучение пользователем эксплуатационной документации (руководства пользователя) на СИИ для дальнейшей работы с СИИ после обучения работе, предоставляемого изготовителем;

г) соблюдение трудовой этики в рамках профессиональной деятельности.

Данные требования устанавливают в должностных инструкциях пользователей, при этом список требований является рекомендательным.

Библиография