ГОСТ Р 56922-2016 Системная и программная инженерия. Тестирование программного обеспечения. Часть 3. Документация тестирования

Обозначение:

ГОСТ Р 56922-2016

Наименование:

Системная и программная инженерия. Тестирование программного обеспечения. Часть 3. Документация тестирования

Статус:

Действует

Дата введения:

06.01.2017

Дата отмены:

Заменен на:

Код ОКС:

35.080

Скачать ГОСТ Р 56922-2016.pdf Скачать ГОСТ Р 56922-2016.doc

Текст ГОСТ Р 56922-2016 Системная и программная инженерия. Тестирование программного обеспечения. Часть 3. Документация тестирования

ГОСТ Р 56922-2016/
ISO/IEC/IEEE 29119-3:2013

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

СИСТЕМНАЯ И ПРОГРАММНАЯ ИНЖЕНЕРИЯ

Тестирование программного обеспечения

Часть 3

Документация тестирования

Software and systems engineering. Software testing. Part 3. Test documentation

ОКС 35.080

Дата введения 2017-06-01

Предисловие

1 ПОДГОТОВЛЕН Обществом с ограниченной ответственностью "Информационно-аналитический вычислительный центр" (ООО ИАВЦ) на основе собственного аутентичного перевода на русский язык международного стандарта, указанного в пункте 4

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 22 "Информационные технологии"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 18 мая 2016 г. N 333-ст

4 Настоящий стандарт идентичен международному стандарту ISO/IEC/IEEE 29119-3:2013* "Программная и системная инженерия. Тестирование программного обеспечения. Часть 3. Документация тестирования" (ISO/IEC/IEEE 29119-3:2013 "Software and systems engineering - Software testing - Part 3: Test documentation").
________________
* Доступ к международным и зарубежным документам, упомянутым здесь и далее по тексту, можно получить, перейдя по ссылке на сайт . - .

Наименование настоящего стандарта изменено относительно наименования указанного международного стандарта для приведения в соответствие с ГОСТ Р 1.5 (пункт 3.5).

При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных стандартов соответствующие им национальные стандарты Российской Федерации, сведения о которых приведены в дополнительном приложении ДА

5 ВВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в ГОСТ Р 1.0-2012 (раздел 8). Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)

Введение

Международная организация по стандартизации (ИСО) и Международная электротехническая комиссия (МЭК) образуют специализированную систему всемирной стандартизации. Национальные органы по стандартизации, которые являются членами ИСО или МЭК, участвуют в разработке международных стандартов через технические комитеты, созданные соответствующей организацией для определенных областей технической деятельности. Технические комитеты ИСО и МЭК сотрудничают в сферах, представляющих взаимный интерес. Другие международные правительственные и неправительственные организации, связанные с ИСО и МЭК, также принимают участие в деятельности по разработке стандартов. В сфере информационной технологии ИСО и МЭК учредили совместный технический комитет ИСО/МЭК СТК 1.

Стандарты Института инженеров по электротехнике и радиоэлектронике (ИИЭР) разработаны в сообществах и комитетах по координации стандартов ИИЭР, входящих в состав бюро стандартов ассоциации стандартов ИИЭР. ИИЭР разрабатывает свои стандарты на основе одобренного Американским национальным институтом стандартов консенсусного процесса разработки, который для достижения конечного результата объединяет различные точки зрения и интересы добровольцев. Добровольцы не обязательно являются сотрудниками института и работают на безвозмездной основе. При том что ИИЭР курирует процесс и устанавливает правила обеспечения справедливости в консенсусном процессе разработки, он не проводит независимые оценку, испытание или проверку точности какой-либо информации, входящей в состав своих стандартов.

Международные стандарты разрабатываются в соответствии с правилами, приведенными в Директивах ИСО/МЭК, часть 2.

Основная задача совместного технического комитета состоит в подготовке международных стандартов. Проекты международных стандартов, принятые совместным техническим комитетом, распространяются среди национальных органов по стандартизации для вынесения решения. Для публикации в качестве международного стандарта требуется одобрение по крайней мере 75% национальных органов по стандартизации, участвующих в голосовании.

Следует обратить внимание на возможность того, что при внедрении этого стандарта может потребоваться использование документа, защищенного патентными правами. При публикации настоящего стандарта не рассматривались вопросы наличия или соответствия каких-либо связанных со стандартом патентных прав. ИСО/ИИЭР не несет ответственность ни за идентификацию существенных для стандарта патентов или патентных заявок, для которых может требоваться лицензия, ни за расследование юридической правильности или области применения патентов либо патентных заявок, ни за определение каких-либо условий лицензирования или условий предоставления гарантийных писем либо патентных заявлений и форм лицензирования, если таковые имеются, ни за какие-либо приемлемые недискриминационные лицензионные соглашения. Пользователи этого стандарта должны принять во внимание то, что определение действия каких-либо патентных прав и риска нарушения таких прав полностью лежит на их собственной ответственности. Дополнительная информация может быть получена в ИСО или Ассоциации стандартов ИИЭР.

ИСО/МЭК/ИИЭР 29119-3 подготовлен Подкомитетом 7 "Системная и программная инженерия" совместного технического комитета ИСО/МЭК СТК 1 "Информационные технологии" в сотрудничестве с комитетом по стандартам системной и программной инженерии компьютерного сообщества ИИЭР в соответствии с организационным соглашением о партнерском сотрудничестве по разработке стандартов между ИСО и ИИЭР.

Серия стандартов ИСО/МЭК/ИИЭР 29119 под общим названием "Системная и программная инженерия. Тестирование программного обеспечения" состоит из следующих частей:

- Часть 1. Понятия и определения;

- Часть 2. Процессы тестирования;

- Часть 3. Документация тестирования;

- Часть 4. Методики тестирования.

Цель создания серии стандартов тестирования программного обеспечения ИСО/МЭК/ИИЭР 29119 состоит в том, чтобы определить общую модель тестирования программного обеспечения, которая может использоваться любой организацией при выполнении различных форм тестирования программного обеспечения. В настоящем стандарте представлены шаблоны и примеры документации тестирования, которая создается в ходе процесса тестирования. Шаблоны, приведенные в приложениях, отражают полную структуру процесса тестирования, описанного в ИСО/МЭК/ИИЭР 29119-2 "Процессы тестирования", то есть процесса тестирования, для которого создается документация. В приложении A изложены основы содержания каждого документа.

Приложение B содержит список всех информационных элементов, определенных в разделах 5, 6 и 7 настоящего стандарта, с соответствующим уровнем требования соответствия (необходимо/следует/можно) ИСО/МЭК/ИИЭР 29119-2 "Процессы тестирования". Приложение C содержит общие сведения о примерах. В приложениях D-S приводятся примеры применения шаблонов. Приложение T показывает взаимосвязь с существующими стандартами. Библиография приводится в конце настоящего стандарта.

Понятия и терминология документации тестирования программного обеспечения определены в ИСО/МЭК/ИИЭР 29119-1 "Понятия и определения".

Актуальная модель процесса тестирования определена в ИСО/МЭК/ИИЭР 29119-2 "Процессы тестирования". В этом стандарте представлено описание процессов тестирования, которые определяют процессы тестирования программного обеспечения на организационном уровне, уровне управления тестированием и уровне динамического тестирования. Кроме того, там представлены информативные диаграммы, описывающие процессы.

Методы проектирования тестирования программного обеспечения, которые могут быть использованы в разработке тестирования, определены в ИСО/МЭК/ИИЭР 29119-4 "Методики тестирования".

Серия международных стандартов ИСО/МЭК/ИИЭР 29119 дает возможность всем заинтересованным лицам контролировать и выполнять тестирование программного обеспечения в любой организации.

1 Область применения

Настоящий стандарт определяет шаблоны документации тестирования программного обеспечения, которые могут использоваться в любой организации, любом проекте или каком-либо действии тестирования проекта. Здесь описана документация тестирования, которая является результатом процессов, определенных в ИСО/МЭК/ИИЭР 29119-2 "Процессы тестирования". Иерархия документации тестирования представлена на рисунке 1 и в приложении A на рисунке A.1.

Настоящий стандарт применим к тестированию всех моделей жизненного цикла разработки программного обеспечения.

Целевая аудитория настоящего стандарта включает в себя: тестеров, менеджеров тестирования, разработчиков и менеджеров проектов и особенно ответственных за руководство, управление и реализацию тестирования программного обеспечения, но не ограничена этим списком.

Документы, описанные в настоящем стандарте, могут со временем создаваться в нескольких версиях. Однако обращение к нескольким версиям документов лежит вне области применения настоящего стандарта, потому что относится к вопросам менеджмента конфигурации.

Рисунок 1 - Иерархия документации тестирования

2 Соответствие

2.1 Предполагаемое соответствие

Требования настоящего стандарта, содержащиеся в разделах 5, 6 и 7, устанавливают требования для многих документов тестирования, приемлемых для использования в течение полного жизненного цикла программного обеспечения. Допускается, что в конкретных проектах или организациях может не возникать потребности в использовании всех документов, определенных в настоящем стандарте. Поэтому практическая реализация настоящего стандарта обычно заключается в выборе совокупности документов, пригодных для организации или проекта. Существуют два типа соответствия условиям настоящего стандарта: полное и адаптированное. Соответствие может быть заявлено для организаций, проектов, проектов с несколькими исполнителями и услуг, как это определено в заявлении о соответствии.

Информационные элементы, определенные в разделах 5, 6 и 7, соответствуют выходным данным ИСО/МЭК/ИИЭР 29119-2 "Процессы тестирования". Приложение В является справочным и представляет обзор нормативных требований к разделам ИСО/МЭК/ИИЭР 29119-2, в которых описано создание информационных элементов, определенных в разделах 5, 6 и 7.

Для простоты ссылок в настоящем стандарте на каждый документ ссылаются как на опубликованный в виде отдельного печатного документа. Названия и содержание документов могут быть изменены (дополнены, объединены или переименованы), и использование номенклатуры конкретных документов, определенных в разделах 5, 6 и 7, не должно требовать соответствия. Документы считаются соответствующими, если они не опубликованы, а доступны в электронной форме, если они разделены на отдельные части или тома или объединены с другими документами в один документ.

2.2 Типы соответствия

Возможны заявления о соответствии двух типов. Выбранный тип соответствия должен быть идентифицирован в заявлении о соответствии документации.

2.2.1 Полное соответствие

Минимальная совокупность требуемых информационных элементов - это все информационные элементы, которые определены в разделах 5, 6 и 7.

Примечание - Может быть заявлено полное соответствие необходимых выбранных документов, даже если не декларируется полное соответствие всему настоящему стандарту.

2.2.2 Адаптированное соответствие

Содержание документов тестирования, определенных в разделах 5, 6 и 7, может быть адаптировано на базе адаптированного соответствия ИСО/МЭК/ИИЭР 29119-2 "Процессы тестирования" и/или на основе конкретных потребностей организации или проекта. В каждом случае адаптации, если не представлен информационный элемент, определенный в разделах 5, 6 и 7, необходимо предоставить обоснование. Все решения по адаптации должны быть документированы с их обоснованием, включая учет любых применимых рисков.

Решения по адаптации должны быть согласованы с соответствующими заинтересованными сторонами.

Адаптированное соответствие может быть достигнуто в следующих случаях:

a) Минимальная совокупность требуемой документации тестирования определена адаптацией процессов и действий в соответствии с разделом 2 ИСО/МЭК/ИИЭР 29119-2 "Процессы тестирования".

b) Минимальная совокупность требуемой документации тестирования определена в соответствии с конкретными потребностями организации и/или проекта.

c) Минимальная совокупность требуемых информационных элементов в документах определена в соответствии с конкретными потребностями организации и/или проекта.

Примечания

1 В отдельных проектах, особенно в тех, которые следуют методике динамичной разработки, адаптация может быть применена ко всем документам настоящего стандарта, допуская их краткую форму или представление в альтернативном формате (например, устном или формате слайдов).

2 Возможно использование различных названий документов, но в таких случаях для облегчения оценки соответствия обычно представляют соответствие локально используемых названий настоящему стандарту.

3 Нормативные ссылки

Нормативные документы*, упомянутые в настоящем стандарте, обязательны для их применения. Для датированных ссылок используют только указанное издание. Для недатированных - самое последнее издание ссылочного документа (с учетом всех его изменений).
_______________
* Таблицу соответствия национальных стандартов международным см. по ссылке. - .

ИСО/МЭК/ИИЭР 15289:2011 Системная и программная инженерия. Содержание информационных продуктов жизненного цикла (документация)

(ISO/IEC/IEEE 15289:2011, Systems and software engineering - Content of life-cycle information products (documentation);

ИСО/МЭК/ИИЭР 29119-1 Системная и программная инженерия. Тестирование программного обеспечения. Часть 1. Понятия и определения

(ISO/IEC/IEEE 29119-1, Software and systems engineering - Software testing - Part 1: Concepts and definitions)

ИСО/МЭК/ИИЭР 29119-2 Системная и программная инженерия. Тестирование программного обеспечения. Часть 2. Процессы тестирования

(ISO/IEC/IEEE 29119-2:2013, Software and systems engineering - Software testing - Part 2: Test processes)

Другие стандарты, полезные для реализации и интерпретации настоящего стандарта, приведены в разделе "Библиография".

4 Термины и определения

В настоящем стандарте применены термины и определения, приведенные в ИСО/МЭК/ИИЭР 24765, а также следующие термины с соответствующими определениями.

Примечание - Терминология в настоящем стандарте используется для простоты цитирования, и ее применение не требуется для соответствия настоящему стандарту. Нижеследующий список терминов и определений представлен для обеспечения правильного понимания и удобочитаемости настоящего стандарта. В него включены только критически важные для понимания настоящего стандарта термины. Составление полного списка терминов тестирования не является целью данного раздела. Для терминов, не определенных в этом разделе, следует пользоваться словарем системной и программной инженерии ИСО/МЭК/ИИЭР 24765. Он доступен на веб-сайте: //www.computer.org/sevocab. Все термины, определенные в данном разделе, преднамеренно включены в ИСО/МЭК/ИИЭР 29119-1, поскольку в этот стандарт входят все термины, использованные в частях 1, 2, 3 и 4 серии стандартов ИСО/МЭК/ИИЭР 29119.

4.1 фактические результаты (actual results): Совокупность поведения или условий элемента тестирования либо совокупность условий связанных данных или тестовой среды, полученных в результате выполнения теста.

Пример - Вывод на аппаратные средства, изменения в данных, отчеты и отправленные информационные сообщения.

4.2 элемент покрытия (coverage item): См. термин "элемент тестового покрытия" согласно 4.15.

4.3 ожидаемые результаты (expected results): Характерное предсказанное поведение элемента тестирования при указанных условиях на основе его спецификации или другого источника.

4.4 набор функций (feature set): Логическое подмножество элемента(ов) тестирования, которое может быть обработано независимо от других наборов функций в последующих действиях проекта тестирования.

Примечание - Это может быть набор всех функций элемента (полный набор его функций) или подмножество, определенное для конкретной цели (совокупность функциональных возможностей и т.д.).

4.5 Отчет об Инциденте (Incident Report): Документация по инциденту о его проявлении, природе и состоянии.

Примечание - Отчеты об инцидентах также могут называться отчетами об аномалиях, отчетами об ошибках, дефектными отчетами, сообщениями об ошибке, проблемами, проблемными отчетами и отчетами об отказе и т.д.

4.6 Организационная Спецификация Тестирования (Organizational Test Specification): Документ, в котором представлена информация о тестировании для организации, то есть информация, которая не специфична для проекта.

Пример - Наиболее общими примерами Организационной Спецификации Тестирования являются Организационная Политика Тестирования и Организационная Стратегия Тестирования.

4.7 Организационная Стратегия Тестирования (Organizational Test Strategy): Документ, в котором изложены универсальные требования к тестированию, которое будет выполняться для всех проектов организации, а также подробности того, как должно производиться тестирование.

Примечания

1 Организационная Стратегия Тестирования согласована с Организационной Политикой Тестирования.

2 Для покрытия существенно различных контекстов проектов у организации может быть более одной Организационной Стратегии Тестирования.

3 В случае отсутствия Политики Тестирования в Организационную Стратегию могут входить положения Политики Тестирования.

4.8 риск продукта (product risk): Риск того, что продукт может иметь дефект в некотором определенном аспекте его функций, качества или структуры.

4.9 риск проекта (project risk): Риск, относящийся к менеджменту проекта.

Пример - Отсутствие комплектности персонала, строгие крайние сроки, изменение требований.

4.10 регрессионное тестирование (regression testing): Тестирование после изменений элемента тестирования или его рабочей среды для определения, происходят ли регрессивные отказы.

Примечание - Достаточное количество регрессионных тестов зависит от тестируемого элемента и от изменений этого элемента или его рабочей среды.

4.11 повторное тестирование (retesting): Повторное выполнение контрольных примеров, для которых ранее был получен результат "сбоя", для оценки эффективности произведенных корректирующих действий.

Примечание - Используется также термин "тестирование подтверждения".

4.12 контрольный пример (test case): Совокупность предварительных условий контрольного примера, входов (включая действия, где это применимо) и ожидаемых результатов, разработанных для управления выполнением элемента тестирования для достижения целей тестирования, включая корректную реализацию, идентификацию ошибок, проверку качества и получение другой значимой информации.

Примечания

1 Для подпроцесса тестирования, для которого он предназначен, контрольный пример - это самый низкий уровень входа тестирования (то есть контрольные примеры не состоят из других контрольных примеров).

2 Исходные условия контрольного примера включают тестовую среду, существующие данные (например, базы данных), программное обеспечение для тестирования, аппаратные средства и т.д.

3 Входы - это информация о данных, используемых для начала выполнения теста.

4 Ожидаемые результаты включают в себя критерии успеха, отказы в проверке и т.д.

4.13 Спецификация Контрольных Примеров (Test Case Specification): Документация одного или большего количества контрольных примеров.

4.14 Отчет о Завершении Тестирования (Test Completion Report): Отчет, в котором представлена сводка выполненного тестирования.

Примечание - Иногда также называют сводным отчетом тестирования.

4.15 элемент тестового покрытия (test coverage item): Атрибут или комбинация атрибутов, которые являются производными одного или более тестовых условий, полученными посредством методики проектирования тестирования, позволяющей оценить основательность выполнения теста.

4.16 тестовые данные (test data): Созданные или отобранные данные, удовлетворяющие входным требованиям для выполнения одного или более контрольных примеров, которые могут быть определены в плане тестирования, контрольном примере или процедуре тестирования.

Примечание - Тестовые данные могут храниться в тестируемом продукте (например, в массивах, плоских файлах или базе данных), или быть доступны из внешних источников, или предоставлены такими источниками, как другие системы, другие компоненты системы, устройства либо операторский персонал.

4.17 Отчет о готовности Тестовых Данных (Test Data Readiness Report): Документ, описывающий состояние каждого Требования к Тестовым Данным.

4.18 Спецификация Проекта Тестирования (Test Design Specification): Документ, определяющий функции, которые будут проверены, и соответствующие тестовые условия.

4.19 методика проектирования тестирования (test design technique): Действия, понятия, процессы и шаблоны, необходимые для создания модели тестирования, которая используется для определения тестовых условий для элемента тестирования, для получения соответствующих элементов тестового покрытия, а далее для разработки или выбора контрольных примеров.

4.20 тестовая среда (test environment): Различные средства, аппаратное и программное обеспечение, встроенное микропрограммное обеспечение, процедуры и документация, предназначенные или используемые для выполнения тестирования программного обеспечения.

Примечание - Тестовая среда может содержать в себе другие среды, необходимые для выполнения конкретных подпроцессов тестирования (например, тестовая среда объекта, среда теста производительности и т.д.).

4.21 Отчет о готовности Тестовой Среды (Test Environment Readiness Report): Документ, который описывает состояние каждого требования к среде.

4.22 Требования к Тестовой Среде (Test Environment Requirements): Описание необходимых свойств тестовой среды.

Примечание - Все или часть требований к тестовой среде могут иметь ссылки, необходимые для поиска информации, например, ссылку на соответствующую Организационную Стратегию тестирования, План Тестирования и/или Спецификацию Тестирования.

4.23 Журнал Выполнения Теста (Test Execution Log): Документ, в который записываются детали выполнения одной или более процедур тестирования.

4.24 элемент тестирования (test item): Рабочий продукт, который является объектом тестирования.

Пример - Система, элемент программного обеспечения, документ требований, разрабатываемая спецификация, руководство пользователя.

4.25 План Тестирования (Test Plan): Подробное описание требуемых целей тестирования, средств и расписания их достижения, предназначенное для координации тестирующих действий для отдельного элемента тестирования или совокупности элементов тестирования.

Примечания

1 В проект может входить более одного Плана Тестирования, например, может быть План Тестирования проекта (также именуемый основным планом тестирования), который охватывает все тестирующие действия для проекта, а более подробная информация об определенных действиях тестирования может быть определена в одном или более планах подпроцессов тестирования (то есть План Тестирования системы или план теста производительности).

2 Обычно План Тестирования представляет собой печатный документ, хотя возможны и другие форматы плана, определяемые локально для организации или проекта.

3 Планы тестирования могут содержать деятельность, выходящую за рамки проекта, например, План Тестирования обслуживания.

4.26 Политика Тестирования (Test Policy): Руководящий документ, в котором описаны назначение, цели и полная предметная область применения тестирования в организации.

Примечания

1 Политика Тестирования определяет, какое тестирование должно выполняться и чего от него ожидают, но не детализирует, как тестирование должно быть выполнено.

2 Политика Тестирования может обеспечить основы для разработки, анализа и постоянного улучшения тестирования в организации.

4.27 Спецификация Процедур Тестирования (Test Procedure Specification): Документ, определяющий одну или более процедур тестирования, представляющих собой наборы контрольных примеров, которые будут выполняться с конкретной целью.

Примечания

1 Контрольные примеры в наборе тестов перечислены в порядке, требуемом в процедуре тестирования.

2 Также имеет название сценария ручного тестирования. Спецификацию процедуры тестирования для автоматизированного тестового прогона обычно называют сценарием тестирования.

4.28 результат тестирования (test result): Индикатор того, прошел ли определенный контрольный пример успешно или нет, то есть соответствует ли фактический результат элемента тестирования ожидаемому результату или наблюдались отклонения.

4.29 набор тестов (test set): Набор контрольных примеров в целях тестирования конкретной цели тестирования.

Примечания

1 В наборах тестов обычно отражаются совокупности функций, однако они могут содержать контрольные примеры для многих совокупностей функций.

2 Контрольные примеры для набора тестов могут быть выбраны на основе идентифицированных рисков, базиса тестирования, повторного тестирования и/или регрессионного тестирования.

4.30 спецификация тестирования (test specification): Подробная документация проекта тестирования, контрольных примеров и процедур тестирования для определенного элемента тестирования.

Примечание - Спецификация тестирования может быть представлена в одном документе, набором документов или другими способами, например, записями базы данных и документами.

4.31 Отчет о Ходе Тестирования Test Status Report): Отчет, который предоставляет информацию о состоянии тестирования, которое выполняется в указанный отчетный период.

4.32 стратегия тестирования (test strategy): Часть Плана Тестирования, в которой описан подход к тестированию определенного проекта тестирования или процессам и подпроцессам тестирования.

Примечания

1 Стратегия тестирования - это производная от Организационной Стратегии Тестирования.

2 Стратегия тестирования обычно определяет некоторые или все из следующих аспектов: используемые методики тестирования, реализуемые тестовые подпроцессы, повторное тестирование и регрессионное тестирование, которые будут использоваться, методы проектирования тестирования, соответствующие критерии завершения тестирования, тестовые данные, тестовую среду и требования к инструментам тестирования и ожидаемые результаты тестирования.

4.33 матрица прослеживаемости тестирования (test traceability matrix): Документ, электронная таблица или другой автоматизированный инструмент, используемый для идентификации в документации и программном обеспечении связанных элементов, таких как требования соответствующего тестирования.

Примечания

1 Также известен как матрица перекрестных ссылок верификации, матрица проверки требований, таблица верификации требований и др.

2 Различные матрицы прослеживаемости тестирования могут отличаться содержащейся информацией, форматами и уровнями детализации.

4.34 тестирование (testing): Набор операций, проводимых для обеспечения выявления и/или оценки свойств одного или более элементов тестирования.

Примечание - Действия тестирования могут включать в себя планирование, подготовку, выполнение, создание отчетов и менеджмент, поскольку все они направлены на тестирование.

5 Документация Организационного Процесса Тестирования

5.1 Общие сведения

Организационные Спецификации Тестирования представляют информацию о тестировании на уровне организации и не зависимы от проекта. Типичными примерами Организационных Спецификаций Тестирования, разработанных в организационном процессе тестирования, являются:

- Политика Тестирования;

- Организационная Стратегия Тестирования.

Полные шаблоны документов с пояснением представлены в 5.2 "Политика Тестирования" и 5.3 "Организационная Стратегия Тестирования". В приложении A представлены краткие общие сведения о каждом документе. В приложениях D и E приводятся примеры Политики Тестирования и Организационной Стратегии Тестирования для конкретных проектов.

5.2 Политика Тестирования

5.2.1 Общие сведения

Политика Тестирования определяет цели и принципы тестирования программного обеспечения, которые будут использоваться в организации. Она определяет, что должно быть достигнуто тестированием, но не указывает в деталях, как тестирование должно выполняться. Политика обеспечивает основу для установления, пересмотра и постоянного совершенствования Политики Тестирования организации.

В A.2.2 (приложение A) представлен макет Организационной Политики Тестирования, а в D.1 и D.2 (приложение D) приведены примеры, которые демонстрируют, как могут быть разработаны Организационные Политики Тестирования для двух различных проектов.

Содержание Политики Тестирования описано ниже.

5.2.2 Спецификация документа

5.2.2.1 Общие сведения

Здесь представлена информация, которая идентифицирует документ и определяет его источники и историю.

Примечание - Информация может быть помещена в начало документа или в середину, если документ хранится в электронной форме, например, в базе данных.

5.2.2.2 Уникальная идентификация документа

Однозначно определяет версию документа.

Пример - Уникальный идентификатор может содержать название документа, дату выпуска, версию и/или состояние документа (например, рассмотренный проект, исправленный или окончательный).

5.2.2.3 Оформляющая организация

Определяет организацию, ответственную за подготовку и выпуск документа. Сюда могут также быть включены имена авторов (автора).

5.2.2.4 Полномочия по утверждению

Идентифицирует назначенное лицо (лиц), которое несет ответственность за рассмотрение и утверждение (подпись) документа (возможно в электронном виде). Сюда могут также быть включены рецензенты и соответствующие менеджеры.

5.2.2.5 История изменений

Сюда входит журнал всех изменений, которые произошли с документом, начиная с момента его создания.

Примеры

1 Сюда может входить список, который содержит текущую версию документа и все предшествующие документы, уникальную идентификацию каждого документа, описание изменений документа относительно предыдущего документа в списке, причины изменений, авторство и роль лица, вносящего изменения.

2 К причинам изменений могут относиться замечания аудита, анализ разработчиков, изменения системы. Лицом, вносящим изменения, может быть автор документа, менеджер проекта, владелец системы.

5.2.3 Введение

Предоставляет разъясняющую информацию о содержании и структуре документа.

5.2.3.1 Область применения

Идентифицирует степень покрытия предметной области документом и указывает все включения, исключения, предположения и/или ограничения.

5.2.3.2 Ссылки

Перечисляет нормативные ссылки и определяет хранилища для систем, программного обеспечения и информации о тестировании. Ссылки могут быть разделены на "внутренние" ссылки организации и "внешние" ссылки, которые не относятся к организации.

Пример - Нормативными документами могут быть политики, планы, процедуры и другие.

5.2.3.3 Глоссарий

Представляет собой словарь терминов, сокращений и аббревиатур, если таковые используются в документе.

Примечание - Этот раздел может быть оформлен как приложение или в нем могут быть ссылки на другой документ, обеспечивающий общий глоссарий. Весь глоссарий или его часть, и/или список аббревиатур могут быть в составе онлайнового отдельного глоссария по тестированию или включены в больший организационный глоссарий, содержащий большое количество терминов, не связанных с тестированием.

5.2.4 Положения Политики Тестирования

5.2.4.1 Цели тестирования

Определяет назначение, цели и полную область применения тестирования в организации. Устанавливает позицию организации, почему выполняется тестирование и какую цель преследует.

5.2.4.2 Процесс тестирования

Идентифицирует процесс тестирования, которому будет следовать организация. Это может быть ссылкой на конкретный документ, предоставляющий подробную информацию о процессе тестирования.

Пример - Таким документом может быть ИСО/МЭК/ИИЭР 29119-2 "Процессы тестирования". Детали процесса тестирования могут быть представлены в более подробной документации процесса тестирования.

5.2.4.3 Организационная структура тестирования

Идентифицирует роли и структуру организации тестирования. Для того чтобы показать организационную иерархию тестирования можно использовать схему или табличное представление.

5.2.4.4 Подготовка тестеров

Определяет потребность в обучении и сертификации персонала, работающего в организации тестирования.

5.2.4.5 Этика тестера

Определяет организационный кодекс этики, которого должны придерживаться тестеры.

5.2.4.6 Стандарты

Устанавливает, какие стандарты применимы в организации тестирования.

5.2.4.7 Другие соответствующие политики

Определяет политики, оказывающие влияние на организацию тестирования.

Пример - Одним из положений политики может быть требование соответствия тестирования политике в области качества.

5.2.4.8 Оценка стоимости тестирования

Устанавливает, как организация определяет возврат инвестиций в тестирование. Определяет цели оценки затрат на тестирование.

5.2.4.9 Архивация и повторное использование актива тестирования

Устанавливает позицию организации по архивации и повторному использованию активов тестирования.

5.2.4.10 Совершенствование процесса тестирования

Определяет методику обеспечения непрерывного совершенствования процесса тестирования.

5.3 Организационная Стратегия Тестирования

5.3.1 Общие сведения

Организационная Стратегия Тестирования - это технический документ, который содержит необходимые руководящие материалы по выполнению тестирования в организации, то есть показывает, как достигнуть целей, определенных в Политике Тестирования.

Организационная Стратегия Тестирования - это общий неспецифичный для конкретного проекта документ организационного уровня, который обеспечивает руководящие принципы для проектов в областях их применения.

Для небольших или очень однородных организаций единая Организационная Стратегия Тестирования может охватывать все действия тестирования. У организации может быть более одной Организационной Стратегии Тестирования в случаях, если организация выполняет разработку многими существенно отличающимися способами, например такими, как критичные по защищенности продукты, некритичные продукты, или когда она использует как динамичную разработку, так и V-модели разработки, и если разрабатываемые программы достаточно большие, чтобы оправдать собственную стратегию.

В случае отсутствия какой-либо Политики Тестирования Организационная Стратегия Тестирования может содержать положения Политики Тестирования.

Организационная Стратегия Тестирования включает определения соответствующих подпроцессов тестирования и положений стратегии для каждого из них. Документ может быть разделен на подразделы для каждого идентифицированного подпроцесса тестирования, если положения стратегии подпроцессов тестирования значительно отличаются для разных подпроцессов тестирования. Такой пример показан на рисунке 2.

В A.2.3 (приложение A) представлен макет Организационной Стратегии Тестирования, а в E.1 и E.2 (приложение E) приведены примеры, которые демонстрируют разные Организационные Стратегии Тестирования для двух различных проектов.

Рисунок 2 - Пример структуры Организационной Стратегии Тестирования

Содержание Организационной Стратегии Тестирования описано ниже.

5.3.2 Спецификация документа

5.3.2.1 Общие сведения

Здесь представлена информация, которая идентифицирует документ и определяет его источники и историю.

Примечание - Если документ хранится в электронной форме, например, в базе данных, то информация может быть помещена в начало или середину документа.

5.3.2.2 Уникальная идентификация документа

Однозначно определяет версию документа.

Пример - Уникальный идентификатор может содержать название документа, дату выпуска, версию и/или состояние документа (например, рассмотренный проект, исправленный или окончательный).

5.3.2.3 Оформляющая организация

Определяет организацию, ответственную за подготовку и выпуск документа. Сюда могут также быть включены имена авторов (автора).

5.3.2.4 Полномочия по утверждению

Идентифицирует назначенное лицо (лиц), которое несет ответственность за рассмотрение и утверждение (подпись) документа (возможно в электронном виде). Сюда могут также быть включены рецензенты и соответствующие менеджеры.

5.3.2.5 История изменений

Сюда входит журнал всех изменений, которые произошли с документом, начиная с момента его создания.

Примеры

5.3.3 Введение

Предоставляет разъясняющую информацию о содержании и структуре документа.

5.3.3.1 Область применения

Определяет степень покрытия предметной области документом и указывает все включения, исключения, предположения и/или ограничения.

5.3.3.2 Ссылки

Перечисляет нормативные ссылки и определяет хранилища для систем, программного обеспечения и информации о тестировании. Ссылки могут быть разделены на "внутренние" ссылки организации и "внешние" ссылки, которые не относятся к организации.

Пример - Нормативными документами могут быть политики, планы, процедуры и другое.

5.3.3.3 Глоссарий

Представляет собой словарь терминов, сокращений и аббревиатур, если таковые используются в документе.

Примечание - Этот раздел может быть оформлен как приложение либо может ссылаться на другой документ, обеспечивающий общий глоссарий. Весь глоссарий или его часть и/или список аббревиатур могут быть в составе онлайнового отдельного глоссария по тестированию либо могут быть включены в больший организационный глоссарий, содержащий большое количество терминов, не связанных с тестированием.

5.3.4 Положения Организационной Стратегии Тестирования в масштабах проекта

Стратегия определяется для заданной области применения. В данный раздел включаются положения, подходящие для всех подпроцессов тестирования, которые будут выполняться в данном проекте в рамках стратегии. В этот раздел в случае необходимости могут быть включены подразделы политики.

5.3.4.1 Общий менеджмент рисков

Определяет общий подход к менеджменту рисков, который, как ожидается, будет использован для управления тестированием.

5.3.4.2 Выбор тестирования и приоритетов

Определяет подход организации к выбору теста и приоритетов выполнения теста в виде приоритетных процедур тестирования. Процедуры тестирования состоят из приоритетных контрольных примеров, полученных из приоритетных наборов функций через приоритетные тестовые условия и элементы покрытия.

5.3.4.3 Документация тестирования и создание отчетов

Идентифицирует документы, которые ожидается произвести во время тестирования в рамках всего проекта тестирования. Описывает подготовку каждого документа и соответствующего процесса утверждения. Это тесно связано с определенным в политике процессом тестирования.

5.3.4.4 Автоматизация и инструменты тестирования

Определяет подход к автоматизации тестирования в организации. Идентифицирует инструменты тестирования, которые будут использоваться в Ходе Тестирования.

Пример - Сюда могут входить инструменты управления тестированием, инструменты выполнения теста, инструменты тестирования производительности, инструменты тестирования защищенности, инструменты тестирования удобства пользования.

5.3.4.5 Менеджмент конфигурации рабочих продуктов тестирования

Определяет менеджмент конфигурации, который будет применяться для рабочих продуктов тестирования; определяет, как эти рабочие продукты должны быть идентифицированы, прослеживаться, храниться и обеспечивать доступность для заинтересованных сторон.

5.3.4.6 Управление инцидентами

Определяет, как нужно управлять инцидентами во время тестирования или ссылаются на описание в другом документе.

5.3.4.7 Подпроцессы тестирования

Идентифицирует конкретные подпроцессы тестирования, которые будут выполняться как часть тестирования в рамках стратегии.

5.3.5 Положения организационной стратегии тестирования для конкретных подпроцессов

5.3.5.1 Критерии входа и выхода

Определяет используемые критерии запуска и остановки действий тестирования для конкретного подпроцесса тестирования.

Подпроцесс тестирования состоит из следующих процессов:

- проектирование и реализация тестирования;

- установка и поддержка тестовой среды;

- выполнение теста;

- отчетность об инцидентах тестирования.

Различные критерии входа и выхода могут быть определены для каждого из них индивидуально, или для отдельных отобранных процессов, или для всего подпроцесса в целом.

5.3.5.2 Критерии завершения тестирования

Определяет, когда с точки зрения организации должны быть завершены действия тестирования подпроцесса тестирования.

5.3.5.3 Документация тестирования и создание отчетов

Идентифицирует документирование тестирования, включая создание отчетов, используемое в ходе действий тестирования в подпроцессе тестирования. Определяет, когда должен быть подготовлен каждый документ или отчет, а также соответствующий процесс утверждения. Это тесно связано с определенным в политике процессом тестирования.

5.3.5.4 Степень независимости

Устанавливает уровень независимости лиц, выполняющих тестирование, то есть состояние технической, организационной и финансовой независимости этой группы тестирования.

5.3.5.5 Методика проектирования тестирования

Идентифицирует конкретные методы проектирования тестирования, которые будут использоваться во время разработки и реализации тестирования в подпроцессе тестирования.

5.3.5.6 Тестовая среда

Определяет тестовую среду для подпроцесса тестирования. Может определять, где должны быть выполнены тестирования конкретных типов и идентифицирует группы или организации, ответственные за тестовую среду. Может идентифицировать источник тестовых данных, указать, где расположены определенные типы тестовых данных и какие группы или организации ответственны за тестовые данные.

5.3.5.7 Требуемые метрики

Определяет метрики, значения которых должны быть собраны в ходе действий тестирования в подпроцессе тестирования.

5.3.5.8 Повторное тестирование и регрессионное тестирование

Определяет стратегию, условия и действия повторного тестирования и регрессионного тестирования в подпроцессе тестирования.

6 Документация Процессов Управления Тестированием

6.1 Общие сведения

Документы, разработанные в процессах управления тестированием, включают в себя следующие:

- План Тестирования;

- Отчет о Ходе Тестирования;

- Отчет о Завершении Тестирования.

Полные шаблоны документов с пояснением приведены ниже. В приложении A представлены краткие общие сведения о каждом документе. В приложениях F и G приведены примеры Планов Тестирования, Отчетов о Ходе Тестирования и Отчетов о Завершении Тестирования для конкретных проектов.

6.2 План Тестирования

6.2.1 Общие сведения

План Тестирования представляет собой документ для планирования тестирования и управления тестированием. Некоторые из проектов могут иметь один План Тестирования, в то время как для больших проектов может быть создано несколько планов тестирования. Планы Тестирования могут создаваться для ряда проектов (на уровне программы), для единственного проекта (План Тестирования проекта/основной План Тестирования) или для конкретного подпроцесса тестирования (План Тестирования системы, План Тестирования комплексирования программного обеспечения, План Тестирования подсистемы, План Тестирования программного обеспечения субподрядчика, План Тестирования единицы программного обеспечения, план теста производительности или план определенной итерации тестирования). Если создается большое количество Планов Тестирования программного обеспечения, то, чтобы помочь документировать взаимосвязи и информацию, содержащуюся в каждом из них, можно построить дерево отображения.

В Плане Тестирования описаны решения, принятые во время начального планирования, и он развивается, поскольку в составе управляющих действий осуществляется перепланирование.

В A.2.4 (приложение A) представлен макет Плана Тестирования, а в F.1 и F.2 (приложение F) приведены примеры, демонстрирующие разработку Планов Тестирования для двух различных проектов.

Далее приводится содержание Плана Тестирования.

6.2.2 Спецификация документа

6.2.2.1 Общие сведения

Здесь представлена информация, которая идентифицирует документ и определяет его источники и историю.

Примечание - Если документ хранится в электронной форме, например в базе данных, то информация может быть помещена в начало или середину документа.

6.2.2.2 Уникальная идентификация документа

Однозначно определяет версию документа.

Пример - Уникальный идентификатор может содержать название документа, дату выпуска, версию и/или состояние документа (например, рассмотренный проект, исправленный или окончательный).

6.2.2.3 Оформляющая организация

Определяет организацию, ответственную за подготовку и выпуск документа. Сюда могут также быть включены имена авторов (автора).

6.2.2.4 Полномочия по утверждению

Идентифицирует назначенное лицо (лиц), которое несет ответственность за рассмотрение и утверждение (подпись) документа (возможно в электронном виде). Сюда могут также быть включены рецензенты и соответствующие менеджеры.

6.2.2.5 История изменений

Сюда входит журнал всех изменений, которые произошли с документом, начиная с момента его создания.

Примеры

2 К причинам изменений могут относиться замечания аудита, анализ разработчиков, изменения системы. Лицом, вносящем изменения, может быть автор документа, менеджер проекта, владелец системы.

6.2.3 Введение

Предоставляет разъясняющую информацию о содержании и структуре документа.

6.2.3.1 Область применения

Определяет степень покрытия предметной области документом и указывает все включения, исключения, предположения и/или ограничения.

6.2.3.2 Ссылки

Перечисляет нормативные ссылки и определяет хранилища для систем, программного обеспечения и информации о тестировании. Ссылки могут быть разделены на "внутренние" ссылки организации и "внешние" ссылки, которые не относятся к организации

Пример - Ссылки на документацию элемента тестирования, относящуюся к конкретному подпроцессу тестирования, могут включать в себя ссылки на:

- требования;

- проект;

- руководство пользователя;

- руководство по работе и/или

- инструкцию по установке.

6.2.3.3 Глоссарий

Представляет собой словарь терминов, сокращений и аббревиатур, если таковые используются в документе.

Примечание - Этот раздел может быть оформлен как приложение или ссылаться на другой документ, обеспечивающий общий глоссарий. Весь глоссарий или его часть и/или список аббревиатур могут быть в составе онлайнового отдельного глоссария по тестированию либо включены в больший организационный глоссарий, содержащий большое количество терминов, не связанных с тестированием.

6.2.4 Контекст тестирования

6.2.4.1 Проект(ы)/подпроцесс(ы) тестирования

Идентифицирует проект(ы) или подпроцесс(ы) тестирования, для которых создается план, и содержит другую соответствующая информацию* о контексте.
_________________

* Текст документа соответствует оригиналу. - .

6.2.4.2 Элемент(ы) тестирования

Определяет элемент(ы) тестирования для тестирования по этому плану, включая их версию/пересмотр или ссылку на эту информацию.

В этом разделе возможно описание назначения элемента(ов) тестирования или приводится ссылка на эту информацию.

Примечание - Эта информация может быть определена в документе, определяющем концепцию работы системы.

Пример - Элементом тестирования может быть программный блок, интерфейс между единицами, подсистема или полная система.

Здесь также могут быть идентифицированы все процедуры переноса элемента(ов) тестирования из других сред в тестовую среду.

6.2.4.3 Область применения тестирования

Обобщает все функции элемента(ов) тестирования, подлежащие проверке. Также идентифицирует все функции элемента(ов) тестирования, которые должны быть исключены из тестирования, и предоставляет обоснования их исключения.

Пример - Функции, подлежащие проверке, могут быть определенными атрибутами программного обеспечения, функций, интерфейсов или бизнес-процессов.

6.2.4.4 Предположения и ограничения

Определяет любые предположения и ограничения для действий тестирования, предусмотренных этим планом. Сюда могут входить нормативные требования, требования Политики Тестирования и Организационной Стратегии Тестирования, договорные требования, сроки проекта, бюджетные ограничения и готовность соответствующего квалифицированного штата, инструментов и/или сред.

6.2.4.5 Заинтересованные стороны

Перечисляет заинтересованные стороны и их отношение к тестированию. Описывает как должен осуществляться обмен информацией с каждой заинтересованной стороной.

6.2.5 Обмен информацией о тестировании

Определяет связи между тестированием и другими действиями жизненного цикла и в организации.

Пример - Сюда могут быть включены полномочия для решения проблем, выявленных в результате действий тестирования, и полномочия для утверждения продуктов и процессов тестирования.

Эта информация может быть представлена в визуальной форме.

Примечание - Визуальное представление может представлять собой организационную схему или диаграмму потоков информации и данных.

6.2.6 Реестр рисков

Идентифицирует риски, которые охватывают тестирование по этому плану. Сюда должны быть включены любые соответствующие риски, которые могут быть определены в Организационной Стратегии Тестирования. Для каждого риска на основе его влияния и вероятности приводится уровень воздействия. Представляет рекомендации по обработке рисков. В этом разделе допускается предоставить ссылку на конкретный реестр рисков.

Пример - Рекомендациями по обработке рисков могут быть: устранить риск, уменьшить его или игнорировать риск.

Примечание - Реестр рисков может быть приведен в плане проекта или плане менеджмента рисков.

6.2.6.1 Риски продукта

Идентифицирует связанные с тестированием риски продукта и предоставляет рекомендации по обработке каждого риска.

Пример - Связанные с тестированием риски продукта могут включать в себя дефекты функциональных или нефункциональных аспектов, таких как производительность.

6.2.6.2 Риски проекта

Идентифицирует связанные с тестированием риски проекта продукта и предоставляет рекомендации по обработке каждого риска.

Пример - Связанные с тестированием риски проекта могут включать в себя риски, связанные с графиком или ресурсами.

6.2.7 Стратегия тестирования

Устанавливает подход к тестированию для определенного проекта тестирования или подпроцесса тестирования, как описано в следующих разделах. Документ может ссылаться на Организационную Стратегию Тестирования, указывая лишь отличия от нее.

6.2.7.1 Подпроцессы тестирования

Для Плана Тестирования проекта определяются надлежащие для выполнения подпроцессы тестирования.

6.2.7.2 Практические результаты тестирования

Идентифицирует все документы, которые должны быть получены в результате выполнения тестирования, или эквивалентную документальную информацию в электронной форме, например, в базах данных либо специализированных инструментах тестирования.

Пример - К результатам тестирования могут относиться следующие документы:

- План Тестирования;

- Спецификация Проекта Тестирования;

- Спецификация Контрольного Примера;

- Спецификация Процедур Тестирования;

- Отчет о Готовности Тестовых Данных;

- Отчет о Готовности Тестовой Среды;

- Отчеты по Инциденту;

- Отчеты о Ходе Тестирования;

- Отчет о Завершении Тестирования.

Входные и выходные данные тестирования могут быть идентифицированы как компоненты результатов тестирования. Кроме того, могут быть включены инструменты тестирования, создаваемые как часть действия тестирования. В случаях объединения или исключения документов этот список соответственно изменяется.

Возможно включение информации о сроках представления документов и об адресате (желательно указывать должность, а не имя).

6.2.7.3 Методика проектирования тестирования

Определяет, какие методы проектирования тестирования должны применяться.

6.2.7.4 Критерии завершения тестирования

Определяет условия, при которых соответствующая организация тестирования предполагает завершение выполнения.

Пример - Это может быть при достижении конкретного покрытия, когда число выявленных дефектов меньше указанного предела.

6.2.7.5 Требуемые метрики

Определяет метрики, значения которых должны быть собраны во время выполнения тестирования.

6.2.7.6 Требования к Тестовым Данным

Определяет все соответствующие Требования к Тестовым Данным для проекта или подпроцесса тестирования (определенным образом).

Пример - Может быть идентифицирован источник тестовых данных и решено, где располагаются определенные тестовые данные, указано должны ли данные быть замаскированы по причинам конфиденциальности и/или перечислены ответственные за тестовые данные.

Определение этих требований к тестовым данным по необходимости может быть отложено до создания документа "Требования к Тестовым Данным" (см. 7.5).

6.2.7.7 Требования к Тестовой Среде

Определяет необходимые и желательные свойства тестовой среды.

Пример - В тестовую среду могут входить аппаратные средства, программное обеспечение, инструменты тестирования, базы данных и персонал (соответственно идентифицируя организации).

Включает в себя информацию о выборе, оценке, приобретении и поддержке каждого инструмента. Сюда также могут входить требования к тестовой среде для подготовки к тестированию, выполнению теста (включая сбор данных) и любых действий после выполнения.

Пример - Действием после выполнения теста может быть анализ данных.

Такие требования к тестовой среде при необходимости могут быть сформулированы позднее в документе "Требования к Тестовой Среде" (см. 7.6), однако ссылка на этот отдельный документ должна присутствовать в Плане Тестирования.

6.2.7.8 Повторное тестирование и регрессионное тестирование

Определяет условия, при которых будут выполняться повторное тестирование и регрессионное тестирование. Сюда может быть включено предполагаемое число циклов тестирования.

6.2.7.9 Критерии приостановки и возобновления

Определяет критерии, используемые для приостановки и возобновления всех или части действий тестирования Плана Тестирования. Определяет, кто ответственен за приостановку и возобновление действий тестирования. Определяет действия тестирования, которые, вероятно, придется повторить при возобновлении тестирования.

6.2.7.10 Отклонения от организационной стратегии тестирования

Должен быть указан каждый пункт Плана Тестирования, в котором имеются отклонения от Организационной Стратегии Тестирования. Когда это применимо, определяет лиц, ответственных за утверждение отклонений.

6.2.8 Действия и оценка тестирования

Определяет все необходимые действия тестирования на базе процесса тестирования, который будет использоваться. Необходимо рассмотреть итеративную стратегию действий при повторном выполнении тестирования, а также все зависимости.

Примечание - Действия тестирования могут быть описаны в терминах структурной схемы работ по операциям или карты действий в динамичных проектах.

Пример - Действия, которые могут быть рассмотрены, включают в себя и те из них, которые относятся к повторному тестированию и регрессионному тестированию.

Определяет оценку для каждого из идентифицированных действий тестирования, которые в соответствии с планом тестирования будут выполняться как часть тестирования. Кроме того, в соответствующих случаях описывает выделенные на тестирование бюджетные сметы расходов или представляет ссылку на эту информацию.

Примечание - Бюджетные сметы расходов могут быть приведены в плане проекта.

6.2.9 Комплектность персонала

Определяет требования к комплектности персонала для тестирования, соответствующего этому плану.

6.2.9.1 Роли, действия и ответственность

Обеспечивает общие сведения об основном персонале (лидерах деятельности) и вторичном персонале (не лидерах, а персонале поддержки) - лицах, исполняющих связанные с тестированием роли, с их соответствующими действиям тестирования ответственностями и полномочиями. Кроме того, определяет ответственных за предоставление элемента(ов) тестирования. Люди могут быть заняты полностью или частично.

Пример - К ответственным лицам могут быть отнесены менеджер проекта, менеджеры тестирования, разработчики, аналитики и исполнители тестирования, обслуживающий персонал, представители пользователя, персонал технической поддержки, администраторы данных и персонал поддержки качества.

В случае необходимости для каждого занятого тестированием лица должен быть определен период(ы).

6.2.9.2 Потребность в дополнительном персонале

Определяет конкретные потребности в дополнительных сотрудниках для тестирования, требуемых для проекта или подпроцесса тестирования. Указывает, когда сотрудники необходимы (временно, на полный или неполный рабочий день), и определяет желаемый набор навыков. Это может быть записано в контракте и бизнес-требованиях.

Примечание - Комплектность персонала может быть обеспечена внутренними переводами, наймом извне, консультантами, субподрядчиками, деловыми партнерами и/или аутсорсингом.

6.2.9.3 Потребность в обучении

Определяет для тестирования потребность в обучении и идентифицирует уровни квалификации и варианты обучения для обеспечения нужного персонала необходимыми навыками.

Пример - Обучение может иметь разные формы, включая такие варианты, как традиционное обучение в классе, рассчитанное на индивидуальную скорость обучения, компьютерное обучение, обучение через Интернет, посещение будущего сайта пользователя и наставничество более опытных сотрудников.

6.2.10 Расписание

Идентифицирует этапы тестирования, определенные в графике проектных работ и в стратегии тестирования. Предоставляет обобщенное полное расписание действий тестирования, определяя, когда по результатам действия необходимо вернуться к процессам разработки, организационным и вспомогательным процессам. Определяет расписание для каждого действия тестирования и каждого этапа тестирования на основе оценки действия, имеющихся ресурсов и других ограничений.

Пример - Вспомогательными процессами могут быть процессы обеспечения качества и менеджмента конфигурации.

6.3 Отчет о Ходе Тестирования

6.3.1 Общие сведения

Отчет о Ходе Тестирования предоставляет информацию о состоянии тестирования, выполненного за определенный отчетный период времени.

Примечание - В случае динамичного проекта Отчет о Ходе Тестирования может быть в форме, отличной от печатного документа. Например, его содержание может обсуждаться на итеративных встречах и дополняться информацией, хранящейся в картах действий и диаграммах выполнения задач.

В A.2.5 (приложение A) представлен макет Отчета о Ходе Тестирования, а в G.1 и G.2 (приложение G) приводятся примеры создания Отчетов о Ходе Тестирования для двух различных проектов.

Содержание Отчета о Ходе Тестирования представлено ниже.

6.3.2 Спецификация документа

6.3.2.1 Общие сведения

Здесь представлена информация, которая идентифицирует документ и определяет его источники и историю.

Примечание - Если документ хранится в электронной форме, например, в базе данных, то информация может быть помещена в начало или середину документа.

6.3.2.2 Уникальная идентификация документа

Однозначно определяет версию документа.

Пример - Уникальный идентификатор может содержать название документа, дату выпуска, версию и/или состояние документа (например, рассмотренный проект, исправленный или окончательный).

6.3.2.3 Оформляющая организация

Определяет организацию, ответственную за подготовку и выпуск документа. Сюда могут также быть включены имена авторов (автора).

6.3.2.4 Полномочия по утверждению

Идентифицирует назначенное лицо (лиц), которое несет ответственность за рассмотрение и утверждение (подпись) документа (возможно в электронном виде). Сюда могут также быть включены рецензенты и соответствующие менеджеры.

6.3.2.5 История изменений

Включает журнал всех изменений, которые произошли с документом, начиная с его начала.

Примеры

6.3.3 Введение

Предоставляет разъясняющую информацию о содержании и структуре документа.

6.3.3.1 Область применения

Определяет степень покрытия предметной области документом и указывает все включения, исключения, предположения и/или ограничения.

6.3.3.2 Ссылки

Перечисляет нормативные ссылки и определяет хранилища для систем, программного обеспечения и информации о тестировании. Ссылки могут быть разделены на "внутренние" ссылки организации и "внешние" ссылки, которые не относятся к организации.

6.3.3.3 Глоссарий

Представляет собой словарь терминов, сокращений и аббревиатур, если таковые используются в документе.

Примечание - Этот раздел может быть оформлен как приложение или в нем могут содержаться ссылки на другой документ, обеспечивающий общий глоссарий. Весь глоссарий или его часть и/или список аббревиатур могут быть в составе онлайнового отдельного глоссария по тестированию либо могут быть включены в больший организационный глоссарий, содержащий большое количество терминов, не связанных с тестированием.

6.3.4 Ход тестирования

Предоставляет информацию о состоянии тестирования в течение отчетного периода.

6.3.4.1 Отчетный период

Определяет период времени, охваченный отчетом.

6.3.4.2 Прогресс относительно Плана Тестирования

Определяет прогресс выполнения Плана тестирования. Должны быть отмечены любые заметные отклонения от плана с объяснениями причин отклонения, описанием любых восстановительных действий, учетом влияния и анализа последствий для запланированных целей проекта.

6.3.4.3 Факторы, блокирующие прогресс

Идентифицирует факторы, препятствовавшие прогрессу в течение отчетного периода, и соответствующие реализованные решения их устранения. Должны быть документированы выясненные (нерешенные) проблемы, все еще препятствующие прогрессу, и определены возможные решения.

6.3.4.4 Показатели тестирования

Представляет собранные за отчетный период показатели тестирования.

Пример - Сюда могут входить показатели контрольных примеров, дефектов, инцидентов, тестового покрытия, прогресса и потребления ресурсов.

6.3.4.5 Новые и измененные риски

Перечисляет новые риски, которые были идентифицированы в результате мониторинга и управления тестированием, а также изменения в существующих рисках в течение отчетного периода.

6.3.4.6 Запланированное тестирование

Определяет тестирование, запланированное для следующего отчетного периода.

6.4 Отчет о Завершении Тестирования

6.4.1 Общие сведения

Отчет о Завершении Тестирования предоставляет собой сводку выполненного тестирования. Отчет может быть для проекта/программы в целом или для определенного подпроцесса тестирования.

В A.2.6 (приложение A) представлен макет Отчета о Завершении Тестирования, а в H.1 и H.2 (приложение H) приведены примеры создания Отчетов о Завершении Тестирования для двух различных проектов.

Содержание Отчета о Завершении Тестирования представлено ниже.

6.4.2 Спецификация документа

6.4.2.1 Общие сведения

Здесь представлена информация, которая идентифицирует документ и определяет его источники и историю.

Примечание - Если документ хранится в электронной форме, например, в базе данных, то информация может быть помещена в начало или середину документа.

6.4.2.2 Уникальная идентификация документа

Однозначно определяет версию документа.

Пример - Уникальный идентификатор может содержать название документа, дату выпуска, версию и/или состояние документа (например, рассмотренный проект, исправленный или окончательный).

6.4.2.3 Оформляющая организация

Определяет организацию, ответственную за подготовку и выпуск документа. Сюда могут также быть включены имена авторов (автора).

6.4.2.4 Полномочия по утверждению

Идентифицирует назначенное лицо (лиц), которое несет ответственность за рассмотрение и утверждение (подпись) документа (возможно в электронном виде). Сюда также могут быть включены рецензенты и соответствующие менеджеры.

6.4.2.5 История изменений

Здесь представлен журнал всех изменений, которые произошли с документом, начиная с момента его создания.

Примеры

6.4.3 Введение

Предоставляет разъясняющую информацию о содержании и структуре документа.

6.4.3.1 Область применения

Определяет степень покрытия предметной области документом и указывает все включения, исключения, предположения и/или ограничения.

6.4.3.2 Ссылки

Перечисляет нормативные ссылки и определяет хранилища для систем, программного обеспечения и информации о тестировании. Ссылки могут быть разделены на "внутренние" ссылки организации и "внешние" ссылки, которые не относятся к организации.

6.4.3.3 Глоссарий

Представляет собой словарь терминов, сокращений и аббревиатур, если таковые используются в документе.

Примечание - Этот раздел может быть оформлен как приложение или в нем могут содержаться ссылки на другой документ, обеспечивающий общий глоссарий. Весь глоссарий или его часть и/или список аббревиатур могут быть в составе онлайнового отдельного глоссария по тестированию либо включены в больший организационный глоссарий, содержащий большое количество терминов, не связанных с тестированием.

6.4.4 Выполненное тестирование

Предоставляет описание выполненного тестирования.

6.4.4.1 Сводка выполненного тестирования

Суммирует в области применения этого отчета тестирование, выполненное в проекте и/или в подпроцессах тестирования.

Предоставляет подробную информацию о том, что было проверено и описывает все ограничения для выполнения тестирования.

Пример - Сюда могут входить ограничения на готовность тестовой среды.

6.4.4.2 Отклонения от Плана Тестирования

Описывает отклонения от Плана Тестирования, если таковые имеются. Для всех рисков, которые вызываются отклонениями тестирования, этот раздел может также ссылаться на раздел по остаточным рискам и их соответствующей обработке.

6.4.4.3 Оценка завершения тестирования

Определяет степень удовлетворения заданным критериям завершения тестирования и, по необходимости, объясняет, почему критерии не были достигнуты. Для всех рисков, которые вызываются не достижением критериев завершения, этот раздел может также ссылаться на раздел по остаточным рискам и их соответствующей обработке.

6.4.4.4 Препятствующие факторы

Описывает препятствующие прогрессу факторы и соответствующие решения, реализованные для их устранения.

6.4.4.5 Показатели тестирования

Представляет сопоставленные показатели тестирования.

Пример - Сюда могут входить показатели для контрольных примеров, дефектов, инцидентов, тестового покрытия, прогресса действия и потребления ресурсов.

6.4.4.6 Остаточные риски

Перечисляет риски, которые по завершении тестирования остались необработанными. Это могут быть риски, которые не были полностью обработаны тестированием и/или любые новые риски, идентифицированные в результате заключительного мониторинга и закрытия тестирования.

6.4.4.7 Практические результаты тестирования

Список всех результатов тестирования, полученных в результате тестовых испытаний, и их местонахождение.

Пример - Сюда могут входить План Тестирования, Спецификации Контрольных Примеров и Спецификации Процедур Тестирования.

6.4.4.8 Активы тестирования, допускающие повторное использование

Списки всех допускающих повторное использование активов тестирования и их местонахождение.

Пример - Сюда могут входить процедуры тестирования и тестовые данные, которые были произведены в результате тестовых испытаний.

6.4.4.9 Накопленный опыт

Результаты обсуждения накопленного опыта.

7 Документация Процессов Динамического Тестирования

7.1 Общие сведения

Документы, разработанные в процессах динамического тестирования, разделяются на две категории:

- Спецификацию тестирования, в которую входят:

- Спецификация Проекта Тестирования;

- Спецификация Контрольных Примеров;

- Спецификация Процедур Тестирования;

Примечание - Это могут быть отдельные документы или отдельные главы Спецификации тестирования, а в зависимости от размера и характера проекта тестирования могут быть и главами проекта.

- Требования к Тестовым Данным;

- Требования к Тестовой Среде;

- Отчет о Готовности Тестовых Данных;

- Отчет о Готовности Тестовой Среды.

- Документацию выполнения теста, в которую входят:

- фактические результаты;

- практические результаты тестирования;

- Журнал Выполнения Теста;

- Отчет об Инцидентах.

Полные шаблоны документов с пояснением приводятся далее. В приложении А представлены схемы всех документов. В приложениях с I до S приведены примеры документации процесса динамического тестирования для организации.

Примечание - Существует множество стилей и названий документации, например, в динамичной разработке списки сеансов и главы с идеями тестирования. Предполагается, что при адаптированном соответствии, определенном в 2.2.2, названия документов могут быть изменены. Можно представить соответствие названий. В приложениях к настоящему стандарту приводятся примеры двух различных типов проекта с возможностью адаптации имен. В приложениях не приведены все возможные названия, форматы документов и методы тестирования. Назначение приложений - показать некоторые возможные варианты.

7.2 Спецификация Проекта Тестирования

7.2.1 Общие сведения

Спецификация Проекта Тестирования определяет функции, которые будут проверяться, и тестовые условия, полученные из базиса тестирования для каждой из функций в качестве первого шага для определения контрольных примеров и процедур тестирования, которые будут выполняться.

В A.2.7 (приложение A) представлен макет Спецификации Проекта Тестирования, а в I.1 и I.2 (приложение I) приводятся примеры, демонстрирующие, как для двух различных проектов могут быть разработаны Спецификации Проектов Тестирования.

Содержание Спецификации Проекта Тестирования представлено ниже.

7.2.2 Спецификация документа

7.2.2.1 Общие сведения

Здесь представлена информация, которая идентифицирует документ и определяет его источники и историю.

Примечание - Если документ хранится в электронной форме, например, в базе данных, то информация может быть помещена в начало или середину документа.

7.2.2.2 Уникальная идентификация документа

Однозначно определяет версию документа.

Пример - Уникальный идентификатор может содержать название документа, даты выпуска, версии и/или состояния документа (например, рассмотренный проект, исправленный или окончательный).

7.2.2.3 Оформляющая организация

Определяет организацию, ответственную за подготовку и выпуск документа. Сюда могут также быть включены имена авторов (автора).

7.2.2.4 Полномочия по утверждению

Идентифицирует назначенное лицо (лиц), которое несет ответственность за рассмотрение и утверждение (подпись) документа (возможно в электронном виде). Сюда также могут быть включены рецензенты и соответствующие менеджеры.

7.2.2.5 История изменений

Сюда входит журнал всех изменений, которые произошли с документом, начиная с момента его создания.

Примеры

7.2.3 Введение

Предоставляет разъясняющую информацию о содержании и структуре документа.

7.2.3.1 Область применения

Определяет степень покрытия предметной области документом и указывает все включения, исключения, предположения и/или ограничения.

7.2.3.2 Ссылки

Перечисляет нормативные ссылки и определяет хранилища для систем, программного обеспечения и информации о тестировании. Ссылки могут быть разделены на "внутренние" ссылки организации и "внешние" ссылки, которые не относятся к организации.

7.2.3.3 Условные обозначения

Определяет и объясняет все схемы идентификации или нумерации, используемые в наборах тестов и тестовых условиях, если это не определено в другом документе.

Примечание - Это может быть помещено в Плане Менеджмента Конфигурации.

7.2.3.4 Глоссарий

Представляет собой словарь терминов, сокращений и аббревиатур, если таковые используются в документе.

Примечание - Этот раздел может быть оформлен как приложение или в нем могут содержаться ссылки на другой документ, обеспечивающий общий глоссарий. Весь глоссарий или его часть и/или список аббревиатур могут быть в составе онлайнового отдельного глоссария по тестированию либо включены в больший организационный глоссарий, содержащий большое количество терминов, не связанных с тестированием.

7.2.4 Наборы функций

7.2.4.1 Общие сведения

Набор функций - это логическая группа функций, которые будут проверены в элементах тестирования в соответствии с Планом Тестирования. Функции, которые будут проверены, могут представлять собой один набор функций или множество наборов функций, возможно, расположенных в порядке иерархии. Наборы функций могут непосредственно соответствовать архитектуре элемента(ов) тестирования или отличаться, если это обеспечивает более эффективное тестирование. Набор функций может также быть бизнес-процессом, который состоит из ряда функций. В последующих действиях проекта тестирования каждый набор функций может быть обработан независимо от других наборов функций.

Наборы функций могут быть описаны в виде списков или таблиц в отдельном документе либо в составе инструмента.

Пример - Наборы функций могут храниться в базе данных или специализированном инструменте тестирования.

Содержание описания набора функций представлено ниже.

7.2.4.2 Уникальный идентификатор

Определяет уникальный идентификатор для набора функций, такой, чтобы он отличался от идентификатора любого другого набора функций. Генерацию идентификаторов может производить автоматизированный инструмент или это можно сделать вручную согласно соответствующей схеме нотации. Поскольку уникальный идентификатор используется для прослеживаемости, то он не должен меняться на протяжении времени жизни набора функций.

7.2.4.3 Цель

Определяет и кратко описывает особый акцент или цель набора функций.

7.2.4.4 Приоритет

Определяет при необходимости приоритет тестирования определенного набора функций.

7.2.4.5 Конкретная стратегия

Определяет реализацию стратегии тестирования набора функций.

Пример - Сюда в случае необходимости могут войти конкретные методы, использованные при проектировании тестирования, определенные в соответствующем Плане Тестирования.

7.2.4.6 Прослеживаемость

Перечисляет ссылки на соответствующие функции базиса тестирования.

Примечание - Прослеживаемость может быть документирована в Матрице Прослеживаемости Тестирования или заложена в инструмент.

Пример - Функции могут представлять собой требования и/или описания разработки.

7.2.5 Тестовые условия

7.2.5.1 Общие сведения

Обобщает тестовые условия для набора функций. Тестовое условие - отдельный элемент или событие, определенные в базисе тестирования, которые могут быть проверены одним или несколькими контрольными примерами.

Примечание - Тестовое условие может представлять собой простую ссылку на требование (если требование выражено поддающимся проверке способом, то есть если в него входит идентифицируемый критерий допустимости) или на текст проекта. Тестовое условие может также быть перефразированием требования, набором требований или описанием конструкции, созданной для тестирования, например, суммированием нескольких требований в модели таблицы решений или в модели состояния.

Этот раздел Спецификации Проекта Тестирования может быть оформлен таким образом, чтобы тестовые условия были перечислены под соответствующими наборами функций.

Примечание - Тестовые условия могут быть определены в виде списков или таблиц в документе или в используемом инструменте, например, в базе данных или специализированном инструменте тестирования. Тестовые условия формально документируются не всегда, поскольку их можно рассматривать как первый проект элементов тестового покрытия и/или контрольных примеров.

Содержание описания тестовых условий представлено ниже.

7.2.5.2 Уникальный идентификатор

Определяет уникальный идентификатор для тестового условия - такой, чтобы он отличался от идентификатора любого другого тестового условия. Генерацию идентификаторов может производить автоматизированный инструмент или это можно сделать вручную согласно соответствующей схеме нотации. Поскольку уникальный идентификатор используется для прослеживаемости, то он не должен меняться на протяжении времени жизни тестового условия.

Если количество или волатильность тестовых условий настолько высоки, что требования уникальности идентификаторов становятся непрактичными, то для прослеживаемости между контрольными примерами и тестовыми условиями вместо этого используются другие средства, обычно на базе автоматизированных инструментов.

7.2.5.3 Описание

Определяет тестовое условие, которое может быть проверено. Оно может быть записано на естественном языке и/или, по необходимости, выражено в виде табличной или графической модели. Может представлять собой простую ссылку на требование, которое является тестовым условием.

7.2.5.4 Приоритет

Определяет приоритет тестирования данного конкретного тестового условия в наборе функций. Тестовые условия с высоким приоритетом будут проверяться раньше и более экстенсивно, чем тестовые условия с приоритетом ниже.

7.2.5.5 Прослеживаемость

Определяет прослеживаемость с набором функций или предоставляет список ссылок на соответствующие требования и/или описание конструкции в базисе тестирования. Может быть документировано в Матрице Прослеживаемости Тестирования.

7.3 Спецификация Контрольных Примеров

7.3.1 Общие сведения

Спецификация Контрольных Примеров определяет элементы тестового покрытия и соответствующие контрольные примеры, полученные из базиса тестирования для одного или более наборов функций.

В A.2.8 (приложение A) представлен макет Спецификации Контрольных Примеров, а в J.1 и J.2 (приложение J) приводятся примеры двух различных проектов, в которых показано, как могут быть разработаны Спецификации Контрольных Примеров.

Содержание Спецификации Контрольных Примеров представлено ниже.

7.3.2 Спецификация документа

7.3.2.1 Общие сведения

Здесь представлена информация, которая идентифицирует документ и определяет его источники и историю.

Примечание - Если документ хранится в электронной форме, например, в базе данных, то информация может быть помещена в начало или середину документа.

7.3.2.2 Уникальная идентификация документа

Однозначно определяет версию документа.

Пример - Уникальный идентификатор может содержать название документа, дату выпуска, версию и/или состояние документа (например, рассмотренный проект, исправленный или окончательный).

7.3.2.3 Оформляющая организация

Определяет организацию, ответственную за подготовку и выпуск документа. Сюда могут также быть включены имена авторов (автора).

7.3.2.4 Полномочия по утверждению

Идентифицирует назначенное лицо (лиц), которое несет ответственность за рассмотрение и утверждение (подпись) документа (возможно в электронном виде). Сюда также могут быть включены рецензенты и соответствующие менеджеры.

7.3.2.5 История изменений

Сюда входит журнал всех изменений, которые произошли с документом, начиная с момента его создания.

Примеры

7.3.3 Введение

Предоставляет разъясняющую информацию о содержании и структуре документа.

7.3.3.1 Область применения

Определяет степень покрытия предметной области документом и указывает все включения, исключения, предположения и/или ограничения.

7.3.3.2 Ссылки

Перечисляет нормативные ссылки и определяет хранилища для систем, программного обеспечения и информации о тестировании. Ссылки могут быть разделены на "внутренние" ссылки организации и "внешние" ссылки, которые не относятся к организации.

7.3.3.3 Условные обозначения

Определяет и объясняет любую идентификацию или нумерации, необходимые для элементов тестового покрытия и контрольных примеров, если это не определено в другом месте.

Примечание - Может быть размещено в Плане Менеджмента Конфигурации.

7.3.3.4 Глоссарий

Представляет собой словарь терминов, сокращений и аббревиатур, если таковые используются в документе.

Примечание - Этот раздел может быть оформлен как приложение или в нем могут содержаться ссылки на другой документ, обеспечивающий общий глоссарий. Весь глоссарий или его часть и/или список аббревиатур могут быть в составе онлайнового отдельного глоссария по тестированию либо включены в больший организационный глоссарий, содержащий большое количество терминов, не связанных с тестированием.

7.3.4 Элементы тестового покрытия

7.3.4.1 Общие сведения

Обобщает элементы тестового покрытия для тестовых условий. Элементы тестового покрытия получаются путем применения методики проектирования тестирования к тестовому условию.

Пример - Разбиение эквивалентности определяет элементы тестового покрытия с точки зрения действительных и недопустимых разделов эквивалентности.

Этот раздел Спецификации Контрольных Примеров может быть оформлен в виде списков элементов тестового покрытия под соответствующими наборами функций и/или тестовыми условиями.

Примечание - Элементы тестового покрытия могут быть определены в виде списков или таблиц в документе либо в используемом инструменте, например, в базе данных или специализированном инструменте тестирования. Элементы тестового покрытия формально документируются не всегда, поскольку их можно рассматривать как проект контрольных примеров.

Содержание описания элемента тестового покрытия приводится далее.

7.3.4.2 Уникальный идентификатор

Определяет уникальный идентификатор для элемента тестового покрытия такой, чтобы его можно было отличить от идентификаторов всех других элементов тестового покрытия. Генерацией идентификаторов может управлять автоматизированный инструмент или это может быть сделано вручную соответственно применяемой схеме нотации. Уникальный идентификатор не должен быть изменен в течение времени жизни элемента тестового покрытия, потому что он необходим для обеспечения прослеживаемости.

Если количество или волатильность тестовых условий настолько высоки, что требования уникальности идентификаторов становятся непрактичными, то для прослеживаемости между контрольными примерами и тестовыми условиями вместо таких идентификаторов используются другие средства, обычно на базе автоматизированных инструментов.

7.3.4.3 Описание

Определяет элемент тестового покрытия, который, как ожидается, будет охвачен контрольным примером в соответствии с методикой проектирования тестирования, использованной для его получения. Сюда может также быть включена дополнительная информация об элементе покрытия.

Пример - Является ли раздел эквивалентности действительным или недействительным разделом.

7.3.4.4 Приоритет

Определяет в случае необходимости приоритет тестирования конкретного элемента тестового покрытия в тестовом условии. Элементы тестового покрытия с более высоким приоритетом будут проверяться раньше элементов тестового покрытия с приоритетами ниже.

7.3.4.5 Прослеживаемость

Определяет прослеживаемость с тестовыми условиями либо набором функций, к которому принадлежит элемент тестового покрытия, или же предоставляет список ссылок на соответствующий базис тестирования. Может быть документировано в Матрице Прослеживаемости Тестирования.

Пример - Базис тестирования может представлять собой требования или конструкцию.

7.3.5 Контрольные примеры

7.3.5.1 Общие сведения

Определяет контрольные примеры, полученные из элементов тестового покрытия. Контрольный пример показывает, как осуществляются один или несколько элементов тестового покрытия, чтобы помочь определить корректность реализации элемента тестирования.

Число контрольных примеров, полученных из элементов тестового покрытия, будет зависеть от критерия тестового покрытия, определенного в Плане Тестирования.

Этот раздел Спецификации Проекта Тестирования может быть оформлен таким образом, чтобы контрольные примеры были перечислены под соответствующими наборами функций и/или тестовыми условиями.

Примечание - Контрольные примеры могут быть определены в виде списков либо таблиц в документе или в используемом инструменте, например, в базе данных или специализированном инструменте тестирования.

Содержание описания контрольного примера приводится ниже.

7.3.5.2 Уникальный идентификатор

Определяет уникальный идентификатор для контрольного примера - такой, чтобы его можно было отличить от идентификаторов всех других контрольных примеров. Генерацией идентификаторов может управлять автоматизированный инструмент или это может быть сделано вручную соответственно применяемой схеме нотации. Уникальный идентификатор не должен быть изменен в течение времени жизни контрольного примера, потому что он необходим для обеспечения прослеживаемости.

7.3.5.3 Цель

Определяет и кратко описывает особый акцент или цель контрольного примера. Это обычно оформляется в заголовке.

7.3.5.4 Приоритет

Определяет в случае необходимости приоритет тестирования данного конкретного контрольного примера. Контрольные примеры с высоким приоритетом будут выполнены раньше контрольных примеров с приоритетом ниже.

7.3.5.5 Прослеживаемость

Определяет прослеживаемость с элементом тестового покрытия, который реализуется контрольным примером, или предоставляет список ссылок на соответствующие требования либо описание конструкции в базисе тестирования. Может быть документировано в Матрице Прослеживаемости Тестирования.

7.3.5.6 Исходные условия

Определяет требуемое состояние тестовой среды и любые специальные ограничения, имеющие отношение к выполнению контрольного примера.

Пример - Состояние, в котором должен быть элемент тестирования перед запуском выполнения, включая наличие конкретных тестовых данных и текущих активных форм или экранов.

Исходные условия могут быть заданы явно или представлять собой ссылки на другие контрольные примеры, при выполнении которых будут установлены исходные условия.

Необходимые условия могут быть описаны для одного или более наборов функций. Они могут быть не представлены в этой спецификации, если достаточно их описания в Плане Тестирования.

7.3.5.7 Входы

Определяет каждое действие, требуемое для приведения элемента тестирования в состояние, при котором ожидаемые результаты можно сравнить с фактическими результатами. Описание подробностей должно быть соответственно адаптировано к уровню подготовки исполнителей тестирования.

Примечание - Это может потребовать предоставления для элемента тестирования входных данных и/или событий, например нажатия кнопок. Некоторые входные данные могут быть определены значениями, а другие - наименованиями. Необходимо учесть таблицы констант, файлы транзакций, базы данных, файлы, терминальные сообщения, резидентные области и значения, переданные операционной системой.

Должны быть описаны все требуемые отношения между входными событиями.

Пример - Отношение может быть синхронизацией.

Действия, в случае необходимости, могут быть пронумерованы в контрольном примере.

7.3.5.8 Ожидаемые результаты

Определяет ожидаемые выходные данные и поведение элемента тестирования, требуемые в ответ на входные данные, поступившие в элемент тестирования в состоянии исходных условий. Представляет ожидаемые величины (с допусками, где это необходимо) для всех требуемых выходов.

Пример - Требуемое поведение элемента тестирования может быть временем отклика.

Здесь также могут быть определены действия, необходимые для сравнения ожидаемых результатов с фактическими. Например, анализ выхода в поле, не активное после поступления входных данных, ожидание запуска пакетного задания, распечатки и анализа отчета или закрытие элемента тестирования и его перезапуск для анализа сохраненных данных.

7.3.5.9 Фактические результаты и результат тестирования

В описание контрольного примера могут быть включены пустые поля для записи фактических результатов и/или результата выполнения контрольного примера. Кроме того, такие поля могут также быть внесены в Спецификацию Процедур Тестирования (см. 7.4), или раздельно в Фактические результаты (см. 7.9), и/или в результат тестирования (см. 7.10).

7.4 Спецификация Процедур Тестирования

7.4.1 Общие сведения

Спецификация Процедур Тестирования представляет в порядке выполнения контрольные примеры в заданных наборах тестов вместе со всеми соответствующими действиями, которые могут потребоваться для установки начальных исходных условий, и всеми необходимыми действиями после выполнения примеров.

Примечание - Процедуры тестирования могут быть определены в виде списков или таблиц в документе или в используемом инструменте, например, в базе данных или специализированном инструменте тестирования.

В A.2.9 (приложение A) представлен макет Спецификации Процедур Тестирования, а в K.1 и K.2 (приложение K) приводятся примеры двух различных проектов, в которых показано, как могут быть разработаны Спецификации Процедур Тестирования.

Содержание Спецификации Процедур Тестирования представлено далее.

7.4.2 Спецификация документа

7.4.2.1 Общие сведения

Здесь представлена информация, которая идентифицирует документ и определяет его источники и историю.

Примечание - Если документ хранится в электронной форме, например, в базе данных, то информация может быть помещена в начало или середину документа.

7.4.2.2 Уникальная идентификация документа

Однозначно определяет версию документа.

Пример - Уникальный идентификатор может содержать название документа, дату выпуска, версию и/или состояние документа (например, рассмотренный проект, исправленный или окончательный).

7.4.2.3 Оформляющая организация

Определяет организацию, ответственную за подготовку и выпуск документа. Сюда также могут быть включены имена авторов (автора).

7.4.2.4 Полномочия по утверждению

Идентифицирует назначенное лицо (лиц), которое несет ответственность за рассмотрение и утверждение (подпись) документа (возможно в электронном виде). Сюда также могут быть включены рецензенты и соответствующие менеджеры.

7.4.2.5 История изменений

Сюда входит журнал всех изменений, которые произошли с документом, начиная с момента его создания.

Примеры

7.4.3 Введение

Предоставляет разъясняющую информацию о содержании и структуре документа.

7.4.3.1 Область применения

Определяет степень покрытия предметной области документом и указывает все включения, исключения, предположения и/или ограничения.

7.4.3.2 Ссылки

Перечисляет нормативные ссылки и определяет хранилища для систем, программного обеспечения и информации о тестировании. Ссылки могут быть разделены на "внутренние" ссылки организации и "внешние" ссылки, которые не относятся к организации.

7.4.3.3 Условные обозначения

Определяет и объясняет все схемы идентификации или нумерации, используемые в наборах тестов и процедурах тестирования, если это не определено в другом документе.

Примечание - Может быть размещено в Плане Менеджмента Конфигурации.

7.4.3.4 Глоссарий

Представляет собой словарь терминов, сокращений и аббревиатур, если таковые используются в документе.

Примечание - Этот раздел может быть оформлен как приложение или в нем могут содержаться ссылки на другой документ, обеспечивающий общий глоссарий. Весь глоссарий или его часть и/или список аббревиатур могут быть в составе онлайнового отдельного глоссария по тестированию либо включены в больший организационный глоссарий, содержащий большое количество терминов, не связанных с тестированием.

7.4.4 Наборы тестов

7.4.4.1 Общие сведения

Определяет объединение контрольных примеров в наборы тестов для тестирования с конкретной целью тестирования. Как правило, наборы тестов обычно отражают наборы функций, однако в них могут входить контрольные примеры для нескольких наборов функций. Контрольные примеры для набора тестов могут отбираться на основе идентифицированных рисков, базиса тестирования, повторного тестирования и/или регрессионного тестирования.

Примечание - Наборы тестов могут быть определены в виде списков или таблиц в документе либо в используемом инструменте, например, в базе данных или специализированном инструменте тестирования. Наборы тестов формально документируются не всегда, поскольку их можно рассматривать как промежуточный шаг создания процедур тестирования.

Содержание описания набора тестов приводится ниже.

7.4.4.2 Уникальный идентификатор

Определяет уникальный идентификатор для набора тестов - такой, чтобы его можно было отличить от идентификатора любого другого набора тестов. Генерацией идентификаторов может управлять автоматизированный инструмент или это может быть сделано вручную соответственно применяемой схеме нотации. Уникальный идентификатор не должен быть изменен в течение времени жизни набора тестов, потому что он необходим для обеспечения прослеживаемости.

7.4.4.3 Цель

Определяет и кратко описывает особый акцент или цель для набора тестов.

Пример - "Этот набор тестов предназначен для повторного тестирования коррекций по инцидентам IN301 и IN56".

7.4.4.4 Приоритет

Определяет, в случае необходимости, приоритет тестирования для данного конкретного набора тестов.

7.4.4.5 Содержание (Прослеживаемость)

Обобщает содержание набора тестов. Обычно это представлено списком уникальных идентификаторов отобранных контрольных примеров.

7.4.5 Процедуры тестирования

7.4.5.1 Общие сведения

Описывает процедуры тестирования, которые были получены для наборов тестов. Процедура тестирования определяет порядок, в котором должны быть выполнены контрольные примеры соответствующего набора тестов согласно зависимостям, описанным в исходных условиях и постусловиях, и другим требованиям тестирования.

Примечание - Процедуры тестирования могут быть определены в виде списков или таблиц в документе либо в используемом инструменте, например, в базе данных или специализированном инструменте тестирования.

Содержание описания процедуры тестирования приводится ниже.

7.4.5.2 Уникальный идентификатор

Определяет уникальный идентификатор для процедуры тестирования - такой, чтобы его можно было отличить от идентификаторов всех других процедур тестирования. Генерацией идентификаторов может управлять автоматизированный инструмент или это может быть сделано вручную соответственно применяемой схеме нотации. Уникальный идентификатор не должен быть изменен в течение времени жизни процедуры тестирования, потому что он необходим для обеспечения прослеживаемости.

7.4.5.3 Цель

Идентифицирует и кратко описывает особый акцент или цель процедуры тестирования. Идентична цели соответствующего набора тестов.

7.4.5.4 Приоритет

Определяет, в случае необходимости, приоритет данной конкретной процедуры тестирования. Идентичен приоритету соответствующего набора тестов.

7.4.5.5 Запуск

Определяет необходимые действия подготовки к выполнению контрольных примеров, определенных в процедуре тестирования. Обычно это действия по установлению исходных условий для первого выполняемого контрольного примера.

7.4.5.6 Выполняемые контрольные примеры (Прослеживаемость)

Перечисляет контрольные примеры в том порядке, в котором они должны быть выполнены. Контрольные примеры могут быть пронумерованы в процедуре тестирования последовательно. Может быть определена степень возможного изменения процедуры.

Этот список может представлять собой ссылку на контрольные примеры или может быть копией списка контрольных примеров.

Если выполнение одного или более контрольных примеров в процедуре не устанавливает исходные условия для следующего контрольного примера, то между контрольными примерами могут быть определены дополнительные действия для установки исходных условий.

В описание процедуры тестирования могут быть включены пустые поля для записи фактических результатов и/или результата тестирования во время выполнения контрольного примера. Кроме того, фактические результаты и/или результат тестирования могут быть также записаны в Фактические Результаты (см. 7.9) и/или в Результат Тестирования (см. 7.10).

7.4.5.7 Связь с другими процедурами

Определяет зависимости, которые данная процедура тестирования может иметь с любыми другими процедурами тестирования.

Примерами зависимостей от других процедур тестирования являются: "они выполняются перед этой", "одновременно с этой" или "после этой".

7.4.5.8 Остановка и заключительные действия

Определяет действия, необходимые для осуществления правильной остановки и после завершения выполнения процедуры.

Пример - Действия могут быть завершением записи протокола или сбросом базы данных тестирования.

7.5 Требования к Тестовым Данным

7.5.1 Общие сведения

Требования к Тестовым Данным описывают свойства тестовых данных, необходимые для выполнения процедур тестирования, определенных в Спецификации Процедур Тестирования.

В A.2.10 (приложение A) представлен макет Требований к Тестовым Данным, а в L.1 и L.2 (приложение L) приводятся примеры двух различных проектов, в которых показано, как могут быть разработаны Требования к Тестовым Данным.

Содержание Требований к Тестовым Данным представлено далее.

7.5.2 Спецификация документа

7.5.2.1 Общие сведения

Здесь представлена информация, которая идентифицирует документ и определяет его источники и историю.

Примечание - Если документ хранится в электронной форме, например, в базе данных, то информация может быть помещена в начало или середину документа.

7.5.2.2 Уникальная идентификация документа

Однозначно определяет версию документа.

Пример - Уникальный идентификатор может содержать название документа, дату выпуска, версию и/или состояние документа (например, рассмотренный проект, исправленный или окончательный).

7.5.2.3 Оформляющая организация

Определяет организацию, ответственную за подготовку и выпуск документа. Сюда могут также быть включены имена авторов (автора).

7.5.2.4 Полномочия по утверждению

Идентифицирует назначенное лицо (лиц), которое несет ответственность за рассмотрение и утверждение (подпись) документа (возможно в электронном виде). Сюда также могут быть включены рецензенты и соответствующие менеджеры.

7.5.2.5 История изменений

Сюда входит журнал всех изменений, которые произошли с документом, начиная с момента его создания.

Примеры

7.5.3 Введение

Предоставляет разъясняющую информацию о содержании и структуре документа.

7.5.3.1 Область применения

Идентифицирует степень покрытия предметной области документом и указывает все включения, исключения, предположения и/или ограничения.

7.5.3.2 Ссылки

Перечисляет нормативные ссылки и определяет хранилища для систем, программного обеспечения и информации о тестировании. Ссылки могут быть разделены на "внутренние" ссылки организации и "внешние" ссылки, которые не относятся к организации.

7.5.3.3 Глоссарий

Представляет собой словарь терминов, сокращений и аббревиатур, если таковые используются в документе.

Примечание - Этот раздел может быть оформлен как приложение или в нем могут содержаться ссылки на другой документ, обеспечивающий общий глоссарий. Весь глоссарий либо его часть и/или список аббревиатур могут быть в составе онлайнового отдельного глоссария по тестированию либо включены в больший организационный глоссарий, содержащий большое количество терминов, не связанных с тестированием.

7.5.4 Подробные Требования к Тестовым Данным

7.5.4.1 Общие сведения

Определяет данные, необходимые для выполнения процедур тестирования, определенных в Спецификации Процедур Тестирования. Сюда могут быть включены любые требования по обезличиванию данных.

Пример - Тестовые данные могут содержать смоделированные производственные данные, такие как данные об учетной записи пользователя и данные о клиентах.

Данные могут быть разделены на части, отражающие структуру данных элемента тестирования.

Пример - Данные могут быть определены в диаграмме классов или диаграмме сущностей и связей.

Содержание описания требований к тестовым данным приводится далее.

7.5.4.2 Уникальный идентификатор

Определяет уникальный идентификатор для Требования к Тестовым Данным - такой, чтобы его можно было отличить от идентификаторов всех других требований к тестовым данным. Генерацией идентификаторов может управлять автоматизированный инструмент или это может быть сделано вручную соответственно применяемой схеме нотации. Уникальный идентификатор не должен быть изменен в течение времени жизни Требования к Тестовым Данным, потому что он необходим для обеспечения прослеживаемости.

7.5.4.3 Описание

Определяет конкретное имя и требуемые значения или диапазоны значений для каждого элемента тестовых данных. Здесь также может быть определено, что данные должны быть сделаны анонимными или ими нужно управлять другими способами.

Пример - "По крайней мере 10 потребителей должны быть в базе данных с полным и корректным идентификатором и всей другой обязательной информацией о потребителе".

7.5.4.4 Ответственность

Определяет, кто ответственен за предоставление доступа к тестовым данным.

7.5.4.5 Необходимый период

Идентифицирует, когда и как долго необходимы тестовые данные. Тестовые данные могут быть необходимы в течение одного неразделенного периода или в течение нескольких отдельных периодов.

7.5.4.6 Необходимость сброса

Определяет, должны ли тестовые данные быть сброшены в ходе тестирования.

7.5.4.7 Архивация или утилизация

Идентифицирует, когда и как тестовые данные нужно заархивировать или необходимо избавиться от них после завершения тестирования.

7.6 Требования к Тестовой Среде

7.6.1 Общие сведения

Требования к Тестовой Среде описывают свойства тестовой среды, необходимые для выполнения процедур тестирования, определенных в Спецификации Процедур Тестирования. По необходимости в этом документе может быть приведена ссылка на документ с соответствующей информацией.

Пример - Информация может быть представлена в Организационной Стратегии Тестирования, Плане Тестирования или Спецификации Тестирования.

В A.2.11 (приложение A) представлен макет Требований к Тестовой Среде, а в M.1 и M.2 (приложение M) приводятся примеры двух различных проектов, в которых показано, как могут быть разработаны Требования к Тестовой Среде.

Содержание документа "Требования к Тестовой Среде" представлено далее.

7.6.2 Спецификация документа

7.6.2.1 Общие сведения

Здесь представлена информация, которая идентифицирует документ и определяет его источники и историю.

Пример - Если документ хранится в электронной форме, например, в базе данных, то информация может быть помещена в начало или середину документа.

7.6.2.2 Уникальная идентификация документа

Однозначно определяет версию документа.

Пример - Уникальный идентификатор может содержать название документа, дату выпуска, версию и/или состояние документа (например, рассмотренный проект, исправленный или окончательный).

7.6.2.3 Оформляющая организация

Определяет организацию, ответственную за подготовку и выпуск документа. Сюда могут также быть включены имена авторов (автора).

7.6.2.4 Полномочия по утверждению

Идентифицирует назначенное лицо (лиц), которое несет ответственность за рассмотрение и утверждение (подпись) документа (возможно в электронном виде). Сюда также могут быть включены рецензенты и соответствующие менеджеры.

7.6.2.5 История изменений

Сюда входит журнал всех изменений, которые произошли с документом, начиная с момента его создания.

Примеры

7.6.3 Введение

Предоставляет разъясняющую информацию о содержании и структуре документа.

7.6.3.1 Область применения

Идентифицирует степень покрытия предметной области документом и указывает все включения, исключения, предположения и/или ограничения.

7.6.3.2 Ссылки

Перечисляет нормативные ссылки и определяет хранилища для систем, программного обеспечения и информации о тестировании. Ссылки могут быть разделены на "внутренние" ссылки организации и "внешние" ссылки, которые не относятся к организации.

7.6.3.3 Глоссарий

Представляет собой словарь терминов, сокращений и аббревиатур, если таковые используются в документе.

Примечание - Этот раздел может быть оформлен как приложение или в нем могут содержаться ссылки на другой документ, обеспечивающий общий глоссарий. Весь глоссарий или его часть и/или список аббревиатур могут быть в составе онлайнового отдельного глоссария по тестированию либо включены в больший организационный глоссарий, содержащий большое количество терминов, не связанных с тестированием.

7.6.4 Подробные Требования к Тестовой Среде

7.6.4.1 Общие сведения

Идентифицирует элементы среды, необходимые для выполнения процедур тестирования, определенные в Спецификации Процедур Тестирования. Сюда входит установка для выполнения процедур тестирования перед их выполнением и для любых действий после выполнения теста.

Пример - Элементы среды можно разделить на следующие виды, хотя в зависимости от конкретных требований могут потребоваться и другие виды:

- аппаратные средства;

- промежуточное программное обеспечение;

- программное обеспечение;

- периферийные устройства, например, принтеры;

- средства обмена информацией, например, веб-доступ;

- инструменты;

- защищенность;

- место проведения, например, размер помещения и уровень фонового шума;

- аксессуары, например, специальные предпечатные бумажные формы.

Примечание - Элементы среды могут быть сгруппированы по другим критериям, например, WindowsXP/Vista/Windows7 или различные входные интерфейсы, подключенные к ПК, если это лучше подходит. Сюда могут быть включены описания конкретных конфигураций, в которых должны использоваться и/или повторно использоваться эти элементы.

На практике тестовая среда обычно не является идеальным представлением рабочей среды, и подробные требования должны отразить степень представления рабочей среды тестовой средой.

Содержание описания элемента тестовой среды приводится далее.

7.6.4.2 Уникальный идентификатор

Определяет уникальный идентификатор для элемента среды - такой, чтобы его можно было отличить от идентификаторов всех других элементов среды. Генерацией идентификаторов может управлять автоматизированный инструмент или это может быть сделано вручную соответственно применяемой схеме нотации. Уникальный идентификатор не должен быть изменен в течение времени жизни элемента тестовой среды, потому что он необходим для обеспечения прослеживаемости.

7.6.4.3 Описание

Идентифицирует элемент среды в достаточных для него деталях для того, чтобы получить его в соответствии с ожиданием.

Пример - Сюда могут входить точно определенные аппаратные средства или программное обеспечение в конкретных версиях и конкретных конфигурациях. Здесь также могут быть перечислены требуемые пакетные задания, которые должны быть выполнены во время тестирования в определенные моменты для обеспечения процесса тестирования.

7.6.4.4 Ответственность

Определяет, кто ответственен за предоставление доступа к элементу среды.

7.6.4.5 Необходимый период

Идентифицирует, когда и как долго необходим элемент среды. Элемент среды может быть необходим в течение одного неразделенного периода или в течение нескольких отдельных периодов.

7.7 Отчет о Готовности Тестовых Данных

7.7.1 Общие сведения

Отчет о Готовности Тестовых Данных описывает выполнение каждого Требования к Тестовым Данным.

В A.2.12 (приложение A) представлен макет Отчета о Готовности Тестовых Данных, а в N.1 и N.2 (приложение N) приводятся примеры двух различных проектов, в которых показано, как могут быть разработаны Отчеты о Готовности Тестовых Данных для двух различных проектов.

Содержание Отчета о Готовности Тестовых Данных представлено ниже.

7.7.2 Спецификация документа

7.7.2.1 Общие сведения

Здесь представлена информация, которая идентифицирует документ и определяет его источники и историю.

Пример - Если документ хранится в электронной форме, например в базе данных, то информация может быть помещена в начало или середину документа.

7.7.2.2 Уникальная идентификация документа

Однозначно определяет версию документа.

Пример Уникальный идентификатор может содержать название документа, даты выпуска, версии и/или состояния документа (например, проект, рассмотренный, исправленный, финал).

7.7.2.3 Оформляющая организация

Определяет организацию, ответственную за подготовку и выпуск документа. Сюда могут также быть включены имена авторов (автора).

7.7.2.4 Полномочия по утверждению

Идентифицирует назначенное лицо (лиц), которое несет ответственность за рассмотрение и утверждение (подпись) документа (возможно в электронном виде). Сюда также могут быть включены рецензенты и соответствующие менеджеры.

7.7.2.5 История изменений

Сюда входит журнал всех изменений, которые произошли с документом, начиная с момента его создания.

Примеры

7.7.3 Введение

Предоставляет разъясняющую информацию о содержании и структуре документа.

7.7.3.1 Область применения

Идентифицирует степень покрытия предметной области документом и указывает все включения, исключения, предположения и/или ограничения.

7.7.3.2 Ссылки

Перечисляет нормативные ссылки и определяет хранилища для систем, программного обеспечения и информации о тестировании. Ссылки могут быть разделены на "внутренние" ссылки организации и "внешние" ссылки, которые не относятся к организации.

7.7.3.3 Глоссарий

Представляет собой словарь терминов, сокращений и аббревиатур, если таковые используются в документе.

Примечание - Этот раздел может быть оформлен как приложение или в нем могут содержаться ссылки на другой документ, обеспечивающий общий глоссарий. Весь глоссарий или его часть и/или список аббревиатур могут быть в составе онлайнового отдельного глоссария по тестированию либо включены в больший организационный глоссарий, содержащий большое количество терминов, не связанных с тестированием.

7.7.4 Состояние Тестовых Данных

7.7.4.1 Общие сведения

Обеспечивает состояние для каждого Требования к Тестовым Данным. Это может быть отмечено в заполнителе в документе Требований к Тестовым Данным.

Содержание описания каждого элемента данных включает в себя:

7.7.4.2 Уникальный идентификатор

Уникальный идентификатор используется в документе Требования к Тестовым Данным.

7.7.4.3 Описание состояния

Определяет состояние требуемого элемента тестовых данных. Состояние может содержать описание того, как фактические тестовые данные отклоняются от требований, например с точки зрения значений или объема.

7.8 Отчет о Готовности Тестовой Среды

7.8.1 Общие сведения

Отчет о Готовности Тестовой Среды описывает выполнение каждого требования к тестовой среде.

В A.2.13 (приложение A) представлен макет Отчета о Готовности Тестовой Среды, а в O.1 и O.2 (приложение O) приведены примеры, которые демонстрируют, как Отчеты о Готовности Тестовой Среды могут быть разработаны для двух различных проектов.

Содержание Отчета о Готовности Тестовой Среды представлено ниже.

7.8.2 Спецификация документа

7.8.2.1 Общие сведения

Здесь представлена информация, которая идентифицирует документ и определяет его источники и историю.

Пример - Если документ хранится в электронной форме, например, в базе данных, то информация может быть помещена в начало или середину документа.

7.8.2.2 Уникальная идентификация документа

Однозначно определяет версию документа.

Пример - Уникальный идентификатор может содержать название документа, дату выпуска, версию и/или состояние документа (например, рассмотренный проект, исправленный или окончательный).

7.8.2.3 Оформляющая организация

Определяет организацию, ответственную за подготовку и выпуск документа. Сюда также могут быть включены имена авторов (автора).

7.8.2.4 Полномочия по утверждению

Идентифицирует назначенное лицо (лиц), которое несет ответственность за рассмотрение и утверждение (подпись) документа (возможно в электронном виде). Сюда также могут быть включены рецензенты и соответствующие менеджеры.

7.8.2.5 История изменений

Включает журнал всех изменений, которые произошли с документом, начиная с его начала.

Примеры

7.8.3 Введение

Предоставляет разъясняющую информацию о содержании и структуре документа.

7.8.3.1 Область применения

Идентифицирует степень покрытия предметной области документом и указывает все включения, исключения, предположения и/или ограничения.

7.8.3.2 Ссылки

Перечисляет нормативные ссылки и определяет хранилища для систем, программного обеспечения и информации о тестировании. Ссылки могут быть разделены на "внутренние" ссылки организации и "внешние" ссылки, которые не относятся к организации.

7.8.3.3 Глоссарий

Представляет собой словарь терминов, сокращений и аббревиатур, если таковые используются в документе.

Примечание - Этот раздел может быть оформлен как приложение или в нем могут содержаться ссылки на другой документ, обеспечивающий общий глоссарий. Весь глоссарий или его часть и/или список аббревиатур могут быть в составе онлайнового отдельного глоссария по тестированию либо включены в больший организационный глоссарий, содержащий большое количество терминов, не связанных с тестированием.

7.8.4 Готовность тестовой среды

7.8.4.1 Общие сведения

Представляет подтверждения выполнения каждого требования к тестовой среде. Это может быть отмечено в соответствующих отведенных полях документа "Требования к Тестовой Среде".

Содержание описания каждого элемента среды включает в себя:

7.8.4.2 Уникальный идентификатор

Уникальный идентификатор используется в документе "Требования к Тестовой Среде".

7.8.4.3 Описание состояния

Определяет выполнение пункта Требований к Тестовой Среде.

Пример - Подтверждение выполнения может включать в себя описание отклонений фактической тестовой среды от требований, например, с точки зрения версий или конфигурации.

Примечание - Этот раздел также может быть использован для того, чтобы отметить готовность конкретных элементов тестовой среды (например, других приложений, которые интегрированы с элементом тестирования), поскольку в случае недоступности они могут повлиять на тестирование.

7.9 Фактические Результаты

Фактические результаты - это запись результата выполнения контрольного примера в процедуре тестирования. Сравнение фактических результатов с ожидаемыми определяет результат тестирования.

Фактические результаты не всегда формально регистрируются. Некоторые типы систем (например, в случае регулирования критически важной защищенности) могут потребовать полного документирования фактических результатов, а для других (например, с высокой целостностью данных или требованиями надежности) можно принять решение - записывать ли фактические результаты полностью. Запись может производиться автоматизированным инструментом во время выполнения теста.

Некоторые контрольные примеры могут включать действия, которые обеспечивают результаты, которые являются промежуточными, но не являются частью фактических результатов выполнения контрольного примера. Они могут быть документированы либо отдельно в журнале тестирования, либо вместе с фактическими результатами. В последнем случае необходимо обеспечить четкое отличие фактических результатов от промежуточных результатов.

В случае необходимости фактические результаты обычно документируются непосредственно в процедуре тестирования в специальных полях, для этого зарезервированных. Поэтому фактические результаты обычно не рассматриваются как независимый документ.

7.10 Результат Тестирования

Результат тестирования - это запись о том, прошло ли успешно выполнение конкретного контрольного примера или нет, то есть соответствуют ли фактические результаты ожидаемым либо наблюдались отклонения или запланированное выполнение контрольного примера невозможно.

Результат тестирования для контрольного примера обычно документируется непосредственно в процедуре тестирования в специальном зарезервированном для этого поле, поэтому результат тестирования обычно не рассматривается как независимый документ.

Пример - Если контрольный пример выполнен удачно, то это может быть отмечено галочкой или подобным знаком, однако в случае, если контрольный пример выполнен неудачно, это можно отметить номером отчета об инцидентах, создаваемого в результате такого отклонения. Если контрольный пример не может быть выполнен, это отмечается пометкой "блокировано" с описанием блокирования, если это возможно.

Иногда этот процесс полностью автоматизирован посредством инструмента, сравнивающего фактические результаты с ожидаемыми результатами и предоставляющего отчет о прошедших контрольных примерах, отказах или случаях невозможности выполнения.

Примечание - Иногда в качестве результата тестирования употребляют альтернативу "Прошел/Не прошел".

7.11 Журнал Выполнения Теста

7.11.1 Общие сведения

Детали записей выполнения одной или более процедур тестирования.

Процедуры тестирования могут быть определены в виде списков или таблиц в документе или в используемом инструменте, например, в базе данных или специализированном инструменте тестирования.

В A.2.14 (приложение А) представлен макет Журнала Выполнения Теста, а в R.1 и R.2 (приложение R) приводятся примеры двух различных проектов, в которых показано, как может быть разработан Журнал Выполнения Теста.

Содержание Журнала Выполнения Теста представлено ниже.

7.11.2 Спецификация документа

7.11.2.1 Общие сведения

Здесь представлена информация, которая идентифицирует документ, определяет его источники и историю.

Пример - Если документ хранится в электронной форме, например, в базе данных, то информация может быть помещена в начало или середину документа.

7.11.2.2 Уникальная идентификация документа

Однозначно определяет версию документа.

Пример - Уникальный идентификатор может содержать название документа, дату выпуска, версию и/или состояние документа (например, рассмотренный проект, исправленный или окончательный).

7.11.2.3 Оформляющая организация

Определяет организацию, ответственную за подготовку и выпуск документа. Сюда также могут быть включены имена авторов и тестеров, если они не совпадают.

7.11.2.4 Полномочия по утверждению

Идентифицирует назначенное лицо (лиц), которое несет ответственность за рассмотрение и утверждение (подпись) документа (возможно в электронном виде). Сюда также могут быть включены рецензенты и соответствующие менеджеры.

7.11.2.5 История изменений

Сюда входит журнал всех изменений, которые произошли с документом, начиная с момента его создания.

Примеры

7.11.3 Введение

Предоставляет разъясняющую информацию о содержании и структуре документа.

7.11.3.1 Область применения

Идентифицирует степень покрытия предметной области документом и указывает все включения, исключения, предположения и/или ограничения.

7.11.3.2 Ссылки

Перечисляет нормативные ссылки и определяет хранилища для систем, программного обеспечения и информации о тестировании. Ссылки могут быть разделены на "внутренние" ссылки организации и "внешние" ссылки, которые не относятся к организации.

7.11.3.3 Глоссарий

Представляет собой словарь терминов, сокращений и аббревиатур, если таковые используются в документе.

Примечание - Этот раздел может быть оформлен как приложение или в нем могут содержаться ссылки на другой документ, обеспечивающий общий глоссарий. Весь глоссарий или его часть и/или список аббревиатур могут быть в составе онлайнового отдельного глоссария по тестированию либо включены в больший организационный глоссарий, содержащий большое количество терминов, не связанных с тестированием.

7.11.4 События

7.11.4.1 Общие сведения

Перечисляет значительные события, происходящие во время выполнения одной или более процедур тестирования.

Пример - Первым событием может быть запуск сеанса выполнения теста и последним - заключительное закрытие сеанса выполнения теста.

Кроме того, примеры событий, которые должны быть записаны, включают в себя:

- внезапное понижение производительности компьютера, на котором выполняется тестирование;

- отказ, делающий невозможным дальнейшее выполнение тестирования;

- перебои в тестовой среде, приводящие к ненадежности фактических результатов.

Содержание описания каждого события, зарегистрированного в Журнале Выполнения Теста, представлено ниже.

7.11.4.2 Уникальный идентификатор

Определяет порядковый номер записи в Журнале Выполнения Теста.

7.11.4.3 Время

Определяет точное время, включая, по необходимости, дату, когда произошло событие.

7.11.4.4 Описание

Описывает то, что произошло. По необходимости, может содержать ссылку на процедуру тестирования и контрольный пример, при выполнении которых произошло событие.

7.11.4.5 Влияние

Там, где применимо, описывает влияние на выполнение теста и/или фактический результат.

7.12 Отчетность об Инцидентах Тестирования

7.12.1 Общие сведения

Инцидент тестирования - это любая проблема, которая возникла во время тестирования, требующего регистрации действий. Инциденты тестирования регистрируются в Отчетах по Инцидентам. Для каждого уникального инцидента создается Отчет об Инциденте (Отчеты об Инцидентах могут называться отчетами о дефектах, ошибках, сбоях и т.д.).

Отчеты об Инцидентах могут быть представлены в виде списков или таблиц, помещенных в документе или в используемом инструменте, например, базе данных или специализированном инструменте отслеживания ошибок.

Формат Отчета об Инциденте может быть определен в другом документе организации, например, как в составе Процессов Управления Инцидентами, в таком случае нужно использовать именно его.

7.12.2 Отчет об Инциденте

В данном контексте Отчет об Инциденте документирует инцидент, выявленный во время тестирования.

Примечания

1 Инциденты могут происходить и быть выявлены и в других условиях, например, неоднозначности в спецификации бизнес-требований, обнаруженные во время проектирования программного обеспечения, или программные ошибки, возникшие во время производства.

2 Приведенная здесь информация является только такой информацией, которая необходима для создания первого Отчета об Инциденте. Для обработки посредством более широкого процесса управления инцидентами к Отчету об Инциденте может быть добавлено больше информации.

В A.2.15 (приложение A) представлен макет Отчета об Инциденте, а в S.1 и S.2 (приложение S) приводятся примеры двух различных проектов, в которых показано, как может быть разработан Отчет об Инциденте.

Содержание Отчета об Инциденте представлено ниже.

7.12.3 Спецификация документа

7.12.3.1 Общие сведения

Здесь представлена информация, которая идентифицирует документ, определяет его источники и историю.

Примеры

1 Если документ хранится в электронной форме, например, в базе данных, то информация может быть помещена в начало или середину документа.

2 Уникальный идентификатор может включать название документа, даты выпуска, версии и/или состояния документа (например, проект, рассмотренный, исправленный, финал).

7.12.3.2 Уникальная идентификация документа

Однозначно определяет версию документа.

7.12.3.3 Оформляющая организация

Определяет организацию, ответственную за подготовку и выпуск документа. Сюда также могут быть включены имена авторов.

7.12.3.4 Полномочия по утверждению

Идентифицирует назначенное лицо (лиц), которое несет ответственность за рассмотрение и утверждение (подпись) документа (возможно в электронном виде). Сюда также могут быть включены рецензенты и соответствующие менеджеры.

7.12.3.5 История изменений

Сюда входит журнал всех изменений, которые произошли с документом, начиная с момента его создания.

Примеры

7.12.4 Введение

Предоставляет разъясняющую информацию о содержании и структуре документа.

7.12.4.1 Область применения

Идентифицирует степень покрытия предметной области документом и указывает все включения, исключения, предположения и/или ограничения.

7.12.4.2 Ссылки

Перечисляет нормативные ссылки и определяет хранилища для систем, программного обеспечения и информации о тестировании. Ссылки могут быть разделены на "внутренние" ссылки организации и "внешние" ссылки, которые не относятся к организации.

7.12.4.3 Глоссарий

Представляет собой словарь терминов, сокращений и аббревиатур, если таковые используются в документе.

Примечание - Этот раздел может быть оформлен как приложение или в нем могут содержаться ссылки на другой документ, обеспечивающий общий глоссарий. Весь глоссарий или его часть и/или список аббревиатур могут быть в составе онлайнового отдельного глоссария по тестированию либо включены в больший организационный глоссарий, содержащий большое количество терминов, не связанных с тестированием.

7.12.5 Детали инцидента

Содержание описания впервые выявленного инцидента приводится далее.

7.12.5.1 Информация о времени

Записываются даты (и возможно время), когда инцидент первый раз был выявлен.

7.12.5.2 Инициатор

Определяет имена и должности лиц, идентифицировавших инцидент.

7.12.5.3 Контекст

Идентифицирует контекст, в котором выявлен инцидент.

Пример - Сюда могут входить:

- Элемент конфигурации, включая его уникальную идентификацию, в котором произошел инцидент. В контексте тестирования таким элементом обычно будет элемент тестирования, но это может быть и другой элемент конфигурации, например, Спецификация Тестирования;

- Процедура Тестирования и Контрольный Пример с их уникальными идентификаторами, при выполнении которых произошел инцидент;

- Любая релевантная информация о тестовой среде и/или тестовых данных, не включенная в другие документы и сочтенная тестером заслуживающей внимания;

- Процесс или подпроцесс тестирования, в котором наблюдался инцидент.

7.12.5.4 Описание инцидента

Предоставляет подробное описание инцидента. Отмечается, воспроизводим ли инцидент, и если да, то предоставляется информация, достаточная для того, чтобы его воспроизвести.

Могут быть включены соответствующая информация и результаты измерений, которые помогли бы изолировать и устранить причину инцидента.

В описание также допустимо включить ссылки на дополнительное свидетельство инцидента или на вспомогательную информацию, которая поможет в диагностике инцидента.

Пример - Такими свидетельствами могут быть снимки экрана, журналы системы и выходные файлы.

7.12.5.5 Оценка серьезности (инициатора)

Указывает, с точки зрения инициатора, глубину и ширину воздействия этого инцидента на технические факторы и факторы бизнеса. Здесь может приводиться оценка времени и усилий на устранение соответствующего дефекта.

Пример - Техническими и бизнес-факторами может быть возможность пользователя выполнения задач и системных операций.

Кроме того, здесь идентифицируется наличие каких-либо известных обходных решений.

7.12.5.6 Оценка приоритета (инициатора)

Обеспечивает оценку безотлагательности для исправления. В большинстве организаций имеется от трех до пяти категорий.

Пример - Оценка системы классификации может состоять в том, что самая серьезная категория, например "Исправить немедленно" означает, что продукт неприменим, а наименее серьезная, например "Исправить в поддержке" означает, что это косметический инцидент.

7.12.5.7 Риск

Предоставляет, если это применимо, информацию о введении новых рисков или изменениях состояния существующих рисков.

7.12.5.8 Состояние инцидента

Идентифицирует текущий статус инцидента, который в данном контексте будет "Открыт".

Примечание - Общая последовательность состояний инцидентов в ходе своих жизненных циклов может быть следующей: "Открыт", "Утвержден для разрешения", "Назначен для разрешения", "Фиксирован", "Повторно проверен с фиксацией, подтвержден" и "Закрыт". Другие возможные значения состояния - "Отклонен" или "Отозван".

Приложение A (справочное). Обзор и Схемы Документов

Приложение A
(справочное)

A.1 Общие сведения

На рисунке A.1 показано содержание документации тестирования, установленное Организационной Политикой Тестирования. Документация Динамического Тестирования разрабатывается для конкретного проекта в контексте документации управления тестированием.

На рисунке A.2 показана иерархия документов, получаемых при выполнении Процесса Разработки и Реализации Тестирования, определенного в ИСО/МЭК/ИИЭР 29119-2.

A.2 Макеты документов

A.2.1 Общие сведения

Базовое содержание каждого из определенных документов представлено ниже.

Все документы включают в себя следующее:

Спецификация документа:

i) Уникальная идентификация документа.

ii) Оформляющая организация.

iii) Полномочия по утверждению.

iv) История изменений.

Введение:

i) Область применения.

ii) Ссылки.

iii) Глоссарий.

Перечисленные разделы могут быть расположены по-разному в разных документах в зависимости от организации и документа.

Обычно конкретные разделы документа помещаются после введения.

A.2.2 Организационная Политика Тестирования

Специфическая информация Политики Тестирования включает в себя:

a) Положения Политики Тестирования:

i) Цели тестирования.

ii) Процесс тестирования.

iii) Организационная структура тестирования.

iv) Подготовка тестера.

v) Этика тестера.

vi) Стандарты.

vii) Другие соответствующие политики.

viii) Оценка стоимости тестирования.

ix) Архивация и повторное использование актива тестирования.

x) Совершенствование процесса тестирования.

A.2.3 Организационная Стратегия Тестирования

Специфическая информация Организационной Стратегии Тестирования включает в себя:

a) Положения Организационной Стратегии Тестирования в масштабах проекта:

i) Общий менеджмент рисков.

ii) Выбор тестирования и приоритетов.

iii) Документация тестирования и создание отчетов.

iv) Автоматизация и инструменты тестирования.

v) Менеджмент конфигурации рабочих продуктов тестирования.

vi) Управление инцидентами.

vii) Подпроцессы тестирования.

b) Положения Организационной Стратегии Тестирования для конкретных подпроцессов:

i) Критерии входа и выхода.

ii) Критерии завершения тестирования.

iii) Документация тестирования и создание отчетов.

iv) Степень независимости.

v) Методика проектирования тестирования.

vi) Тестовая среда.

vii) Требуемые метрики.

viii) Повторное тестирование и регрессионное тестирование.

Рисунок A.1 - Иерархия документации тестирования

Рисунок A.2 - Иерархия документации разработки и реализации тестирования

A.2.4 План Тестирования

Специфическая информация Плана Тестирования включает в себя:

a) Контекст тестирования:

i) Проект/Подпроцесс тестирования.

ii) Элемент(ы) тестирования.

iii) Область применения тестирования.

iv) Предположения и ограничения.

v) Заинтересованные стороны.

b) Обмен информацией о тестировании.

c) Реестр рисков:

i) Риски продукта.

ii) Риски проекта.

d) Стратегия тестирования:

i) Подпроцессы тестирования.

ii) Практические результаты тестирования.

iii) Методы проектирования тестирования.

iv) Критерии завершения тестирования.

v) Требуемые метрики.

vi) Требования к Тестовым Данным.

vii) Требования к Тестовой Среде.

viii) Повторное тестирование и регрессионное тестирование.

ix) Критерии приостановки и возобновления.

х) Отклонения от Организационной Стратегии Тестирования

e) Действия и оценка тестирования.

f) Комплектность персонала:

i) Роли, действия и ответственность.

ii) Потребность в дополнительном персонале.

iii) Потребности в обучении.

g) Расписание.

A.2.5 Отчет о Ходе Тестирования

Специфическая информация Отчета о Ходе Тестирования включает в себя:

a) Ход тестирования:

i) Отчетный период.

ii) Прогресс относительно Плана Тестирования.

iii) Факторы, блокирующие прогресс.

iv) Показатели тестирования.

v) Новые и измененные риски.

vi) Запланированное тестирование.

A.2.6 Отчет о Завершении Тестирования

Специфическая информация Отчета о Завершении Тестирования включает в себя:

a) Выполненное тестирование:

i) Сводка выполненного тестирования.

ii) Отклонения от Плана Тестирования.

iii) Оценка завершения тестирования.

iv) Препятствующие факторы.

v) Показатели тестирования.

vi) Остаточные риски.

vii) Практические результаты тестирования.

viii) Активы тестирования, допускающие повторное использование.

agosty.ru

Превью ГОСТ Р 56922-2016 Системная и программная инженерия. Тестирование программного обеспечения. Часть 3. Документация тестирования