agosty.ru35. ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ. МАШИНЫ КОНТОРСКИЕ35.240. Применение информационных технологий

ГОСТ Р 70321.2-2022 Технологии искусственного интеллекта для обработки данных дистанционного зондирования Земли. Алгоритмы искусственного интеллекта для определения типов жилых зданий на космических снимках, получаемых с космических аппаратов оптико-электронного наблюдения. Типовая методика проведения испытаний

Обозначение:
ГОСТ Р 70321.2-2022
Наименование:
Технологии искусственного интеллекта для обработки данных дистанционного зондирования Земли. Алгоритмы искусственного интеллекта для определения типов жилых зданий на космических снимках, получаемых с космических аппаратов оптико-электронного наблюдения. Типовая методика проведения испытаний
Статус:
Действует
Дата введения:
01.01.2023
Дата отмены:
-
Заменен на:
-
Код ОКС:
35.240.99

Текст ГОСТ Р 70321.2-2022 Технологии искусственного интеллекта для обработки данных дистанционного зондирования Земли. Алгоритмы искусственного интеллекта для определения типов жилых зданий на космических снимках, получаемых с космических аппаратов оптико-электронного наблюдения. Типовая методика проведения испытаний

        ГОСТ Р 70321.2-2022

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Технологии искусственного интеллекта для обработки данных дистанционного зондирования Земли

АЛГОРИТМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА ДЛЯ ОПРЕДЕЛЕНИЯ ТИПОВ ЖИЛЫХ ЗДАНИЙ НА КОСМИЧЕСКИХ СНИМКАХ, ПОЛУЧАЕМЫХ С КОСМИЧЕСКИХ АППАРАТОВ ОПТИКО-ЭЛЕКТРОННОГО НАБЛЮДЕНИЯ

Типовая методика проведения испытаний

Artificial intelligence technologies for processing of Earth remote sensing data. Artificial intelligence algorithms for classifying types of residential buildings on satellite images obtained from optical-electronic observation satellites. Typical testing procedure

ОКС 35.240.99

Дата введения 2023-01-01

Предисловие

1 РАЗРАБОТАН Федеральным государственным автономным образовательным учреждением высшего образования "Национальный исследовательский университет "Высшая школа экономики" (НИУ ВШЭ) и Обществом с ограниченной ответственностью "ГЕОАЛЕРТ" (ООО "ГЕОАЛЕРТ")

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 28 октября 2022 г. N 1205-ст

4 ВВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

Введение

Настоящий стандарт входит в серию стандартов "Технологии искусственного интеллекта для обработки данных дистанционного зондирования Земли".

Настоящий стандарт развивает положения ГОСТ Р 59898 применительно к оценке функциональной корректности алгоритмов искусственного интеллекта для определения типов жилых зданий на космических снимках по ГОСТ Р 59753-2021 (статья 32), получаемых с космических аппаратов оптико-электронного наблюдения в видимом и ближнем инфракрасном диапазонах.

Определение типов жилых зданий может осуществляться, например:

- при территориальном планировании, землепользовании и застройке [1];

- планировке и застройке городских и сельских поселений по СП 42.13330;

- благоустройстве территорий поселений, городских округов, внутригородских районов [2];

- благоустройстве территорий муниципальных образований [3];

- градостроительном проектировании и благоустройстве парков СП 475.1325800;

- для поддержки принятия градостроительных, архитектурно-планировочных и иных решений по развитию городов и населенных пунктов;

- получения актуальной пространственной информации о зданиях для проверки соответствия сведений кадастрового учета, актуализации адресной базы для почтовых сервисов, в целях градостроительного планирования развития территорий, а также для цифровых двойников городов и населенных пунктов;

- оказания консалтинговых услуг, связанных с использованием данных о численности населения и темпах урбанизации территорий, а именно: стратегическое планирование, исследование потенциальных рынков оказания услуг (например, страхование, размещение территориальных офисов/магазинов);

- мониторинга состояния охранных зон.

Настоящий стандарт разработан в целях унификации методов испытаний при оценке функциональной корректности алгоритмов искусственного интеллекта для определения типов жилых зданий на космических снимках.

1 Область применения

Настоящий стандарт распространяется на алгоритмы искусственного интеллекта для определения типов жилых зданий (далее - алгоритмы ИИ) на космических снимках по ГОСТ Р 59753-2021 (статья 32), получаемых с космических аппаратов оптико-электронного наблюдения в видимом и ближнем инфракрасном диапазонах (далее - снимки).

Настоящий стандарт устанавливает типовую методику проведения испытаний при оценке функциональной корректности по ГОСТ Р 59898-2021 (8.2.3).

Примечание - В контексте настоящего стандарта под алгоритмами ИИ понимают алгоритмы на основе машинного обучения.

Настоящий стандарт может быть применен при испытаниях алгоритмов ИИ при проведении оценки соответствия первой, второй или третьей сторон по ГОСТ ISO/IEC 17000.

Настоящий стандарт также может быть применен при автономных предварительных и приемочных испытаниях по ГОСТ Р 59792 алгоритмов ИИ, входящих в состав автоматизированных систем.

Настоящий стандарт предназначен для применения всеми организациями, участвующими в испытаниях алгоритмов ИИ, независимо от их вида и размера.

Типовая методика проведения испытаний алгоритмов ИИ для распознавания зданий на космических снимках установлена в ГОСТ Р 70321.1, алгоритмов ИИ для оценки площади жилых зданий - в ГОСТ Р 70321.3, алгоритмов ИИ для распознавания строящихся зданий - в ГОСТ Р 70321.4.

2 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие документы:

ГОСТ ISO/IEC 17000 Оценка соответствия. Словарь и общие принципы

ГОСТ Р 52438 Географические информационные системы. Термины и определения

ГОСТ Р 59276 Системы искусственного интеллекта. Способы обеспечения доверия. Общие положения

ГОСТ Р 59753-2021 Данные дистанционного зондирования Земли из космоса. Термины и определения

ГОСТ Р 59754 Данные дистанционного зондирования Земли из космоса. Обработка данных дистанционного зондирования Земли из космоса. Термины и определения

ГОСТ Р 59792 Информационные технологии. Комплекс стандартов на автоматизированные системы. Виды испытаний автоматизированных систем

ГОСТ Р 59898-2021 Оценка качества систем искусственного интеллекта. Общие положения

ГОСТ Р 70321.1-2022 Технологии искусственного интеллекта для обработки данных дистанционного зондирования Земли. Алгоритмы искусственного интеллекта для распознавания зданий на космических снимках, получаемых с космических аппаратов оптико-электронного наблюдения. Типовая методика проведения испытаний

ГОСТ Р 70321.3 Технологии искусственного интеллекта для обработки данных дистанционного зондирования Земли. Алгоритмы искусственного интеллекта для оценки площади жилых зданий на космических снимках, получаемых с космических аппаратов оптико-электронного наблюдения. Типовая методика проведения испытаний

ГОСТ Р 70321.4 Технологии искусственного интеллекта для обработки данных дистанционного зондирования Земли. Алгоритмы искусственного интеллекта для распознавания строящихся зданий на космических снимках, получаемых с космических аппаратов оптико-электронного наблюдения. Типовая методика проведения испытаний

ГОСТ Р ИСО 6707-1 Здания и сооружения. Общие термины

СП 42.13330 Градостроительство. Планирование и застройка городских и сельских поселений

СП 475.1325800 Парки. Правила градостроительного проектирования и благоустройства

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов (сводов правил) в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный документ, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого документа с учетом всех внесенных в данную версию изменений. Если заменен ссылочный документ, на который дана датированная ссылка, то рекомендуется использовать версию этого документа с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный документ, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный документ отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку. Сведения о действии сводов правил целесообразно проверить в Федеральном информационном фонде стандартов.

3 Термины и определения

В настоящем стандарте применены термины по ГОСТ ISO/IEC 17000, ГОСТ Р ИСО 6707-1, ГОСТ Р 52438, ГОСТ Р 59276, ГОСТ Р 59753, ГОСТ Р 59754, ГОСТ Р 59898.

4 Общие положения

Общие положения по ГОСТ Р 70321.1-2022 (раздел 4).

5 Подготовительные работы

5.1 Подготовительные работы проводят по ГОСТ Р 70321.1-2022 (раздел 5), за исключением положений, установленных в настоящем стандарте.

5.2 Пример базового демонстрационного набора данных для задач сегментации прилагается к настоящему стандарту, состоит из 48 папок, в каждой из которых по одному снимку размером не менее 500
500 пикселей в формате TIF и одному файлу с разметкой в формате GEOJSON.

5.3 В дополнение к требованиям к разметке снимков по ГОСТ Р 70321.1-2022 (5.4.2) каждое жилое здание в разметке должно иметь характеристику "тип".

6 Тестирование и оценка показателей

6.1 Тестирование и оценка показателей - по ГОСТ Р 70321.1-2022 (раздел 6) с дополнениями, приведенными в настоящем стандарте.

6.2 Показатели для оценки функциональной корректности алгоритмов ИИ выбирают исходя из специфики решаемой задачи на усмотрение заказчика испытаний.

Например, в задачах сегментации для оценки классификации могут быть использованы следующие показатели:

- доля правильных исходов по всем классам;

- усредненная по всем классам F-мера.

Долю правильных исходов и F-меру рассчитывают по формулам (13) и (17) ГОСТ Р 59898-2021 соответственно, причем:

- TP - количество истинно положительных исходов по всем классам: объекты, отнесенные к целевым классам по результатам работы алгоритма ИИ, принадлежат к целевым классам в разметке;

- TN - количество истинно отрицательных исходов по всем классам: объекты, не отнесенные к целевым классам по результатам работы алгоритма ИИ, не принадлежат к целевым классам в разметке;

- FP - количество ложноположительных исходов по всем классам: объекты, отнесенные к целевым классам по результатам работы алгоритма ИИ, не принадлежат к целевым классам в разметке;

- FN - количество ложноотрицательных исходов по всем классам: объекты, не отнесенные к целевым классам по результатам работы алгоритма ИИ, принадлежат к целевым классам в разметке.

Усредненное по всем классам значение
F
-меры
рассчитывают по формуле
, (1)

где sum(F) - суммирование значений F-меры по всем классам жилых зданий в разметке;

C - количество классов жилых зданий в разметке.

Доля правильных исходов
A
и усредненное по всем классам значение
F
-меры
могут принимать значения от 0 до 1, при этом значение 1 соответствует наиболее эффективному качеству работы алгоритма ИИ.

7 Анализ и интерпретация результатов испытаний

Анализ и интерпретация результатов испытаний по ГОСТ Р 70321.1-2022 (раздел 7).

Библиография

[1]

Федеральный закон от 29 декабря 2004 г. N 190-ФЗ "Градостроительный кодекс Российской Федерации"

[2]

Методические рекомендации для подготовки правил благоустройства территорий поселений, городских округов, внутригородских районов (утверждены приказом Министерства строительства и жилищно-коммунального хозяйства Российской Федерации от 13 апреля 2017 г. N 711/пр)

[3]

Методические рекомендации по разработке норм и правил по благоустройству территорий муниципальных образований (утверждены приказом Министерства строительства и жилищно-коммунального хозяйства Российской Федерации от 29 декабря 2021 г. N 1042/пр)

УДК 006.86:006.354

ОКС 35.240.99

Ключевые слова: технологии искусственного интеллекта, обработка данных дистанционного зондирования Земли, алгоритмы искусственного интеллекта, определение типов жилых зданий, обработка космических снимков, оптико-электронное наблюдение, видимый диапазон, ближний инфракрасный диапазон, методика испытаний, оценка функциональной корректности