ГОСТ Р 55236.2-2012 Эргономика изделий повседневного использования. Часть 2. Метод испытаний изделий с интуитивно понятным управлением

ГОСТ Р 55236.2-2012/ISO/TS 20282-2:2006

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

ЭРГОНОМИКА ИЗДЕЛИЙ ПОВСЕДНЕВНОГО ИСПОЛЬЗОВАНИЯ

Часть 2

Метод испытаний изделий с интуитивно понятным управлением

Ergonomics of everyday products. Part 2. Test method for walk-up-and-use products

ОКС 13.180

Дата введения 2013-12-01

Предисловие

1 ПОДГОТОВЛЕН Автономной некоммерческой организацией "Научно-исследовательский центр контроля и диагностики технических систем" (АНО "НИЦ КД") на основе собственного перевода на русский язык англоязычной версии документа, указанного в пункте 4

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 201 "Эргономика, психология труда и инженерная психология"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 29 ноября 2012 г. N 1280-ст

4 Настоящий стандарт идентичен международному документу ISO/TS 20282-2:2006* "Удобство управления изделиями повседневного использования. Часть 2. Метод испытаний изделий с интуитивно понятным управлением" (ISO/TS 20282-2:2006 "Ease of operation of everyday products - Part 2: Test method for walk-up-and-use products", IDT).

________________

* Доступ к международным и зарубежным документам, упомянутым в тексте, можно получить, обратившись в Службу поддержки пользователей. - .

Наименование настоящего стандарта изменено относительно наименования указанного международного документа для приведения в соответствие с ГОСТ Р 1.5 (подраздел 3.5).

При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных стандартов и документов соответствующие им национальные стандарты, сведения о которых приведены в приложениях ДА и ДБ

5 ВВЕДЕН ВПЕРВЫЕ

6 ПЕРЕИЗДАНИЕ. Август 2019 г.

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)

Введение

Многие пользователи испытывают трудности при применении изделий повседневного использования, таких как автоматы по продаже билетов, стиральные машины, видеомагнитофоны, особенно если они используют эти изделия редко или в первый раз. Если функции изделия являются неудобными в управлении, многие пользователи считают, что изделие трудно или даже невозможно использовать. Такая ситуация является нежелательной как для поставщиков изделий, организаций, оказывающих услуги, так и для самих пользователей. Поэтому информация об удобстве использования изделия имеет большое значение и для поставщиков, пользующихся этой информацией при разработке изделий, и для потенциальных пользователей при принятии решения о покупке или сравнении изделия с аналогичными изделиями. Это стимулирует изготовление изделий, более простых при использовании, и позволяет покупателям уделять особое внимание удобству управления при покупке.

Настоящий стандарт устанавливает метод испытаний, который может быть использован в условиях эксплуатации для оценки удобства управления изделиями с интуитивно понятным управлением. Этот метод является обобщающим и может быть использован для проверки выполнения установленных требований или для сравнения различных изделий. Данный метод испытаний является одним из методов оценки пригодности использования по ISO/TR 16982 [5] и может быть применен для оценки удобства управления и проверки выполнения количественных требований к пригодности использования.

Изготовители могут использовать данный метод для проверки выполнения требований к удобству управления, для сравнения изделий с их предыдущими моделями или изделиями конкурентов. Они могут сообщить результаты испытаний потенциальным покупателям в описании изделия или в рекламных проспектах. Организации, приобретающие изделия, могут использовать метод испытаний для определения его соответствия установленным требованиям.

Пригодность использования (см. ИСО 9241-11 [3]) - это свойство продукции, при наличии которого установленный пользователь может применять продукцию в определенных условиях использования для достижения установленных целей с необходимой результативностью, эффективностью и удовлетворенностью. Удобство управления является показателем пригодности использования изделий повседневного использования. Предполагается, что пользователи могут достичь своих основных целей при правильном управлении изделием. Метод предназначен для применения к изделиям, у которых есть четкий критерий успешного достижения целей (что характерно для большинства изделий с интуитивно понятным управлением), но не применим в случаях, когда качество результата может изменяться. Удобство управления в основном связано с пользовательским интерфейсом и взаимодействием, которое он поддерживает, а не с качеством функций изделия или пригодностью этих функций для использования изделия по назначению.

Если для достижения основных целей использования изделия с интуитивно понятным управлением необходимо выполнять задачи низкой сложности, которые не требуют много времени на выполнение, наиболее важным показателем удобства управления является его результативность. Результативность управления определяют в виде процента пользователей, достигших основной цели (целей) с необходимой точностью и полнотой. Эффективность управления может иметь важное значение, например, если изделие применяет большое количество быстро меняющихся пользователей. Кроме того, для некоторых изделий важно, чтобы пользователи остались удовлетворены управлением изделия, например в ситуациях, когда пользователи имеют выбор, какими средствами воспользоваться для достижения своих целей.

В ИСО 13407 [4] приведено руководство по применению принципов ориентированного на человека проектирования для изготовления пригодных к использованию изделий. Стандарт акцентирует внимание на том, что требования к пригодности использования должны быть установлены до разработки, а ее оценку следует повторять в процессе разработки. Метод испытаний, установленный в настоящем стандарте, может быть использован для оценки установленных требований. В ситуациях, когда главной целью является получение обратной связи при проектировании, более подходящими являются другие методы, хотя данный метод также может дать информацию о проблемах пригодности использования, которые необходимо устранить. В ИСО 13407 также отмечена важность установления условий использования. В ИСО 20282-1 более детально описаны источники дисперсии характеристик пользователя, которые формируют часть условий использования и которые необходимо принимать во внимание при проектировании удобного в использовании изделия. Эта информация также необходима для определения требований при проведении испытаний.

_________________

ИСО 20282-1:2006 "Удобство управления изделиями ежедневного использования. Часть 1. Требования к конструкции с учетом условий использования и характеристик пользователя".

Применяемый в настоящем стандарте международный документ разработан Техническим комитетом ИСО/ТС 159 "Эргономика".

1 Область применения

Настоящий стандарт устанавливает метод испытаний изделий с интуитивно понятным управлением для измерения удобства управления.

Целью испытаний является создание основы для прогнозирования удобства управления изделием с интуитивно понятным управлением, включая параметры результативности и эффективности управления, а также удовлетворенности пользователей из предполагаемой совокупности в ожидаемых условиях использования.

Предполагаемыми пользователями настоящего стандарта являются специалисты по эргономике, занятые разработкой и организацией испытаний, поставщики, закупочные организации или третьи стороны (например, организации потребителей).

2 Соответствие требованиям настоящего стандарта

Метод испытаний, позволяющий оценить удобство управления изделием с интуитивно понятным управлением, соответствует настоящему стандарту, если он соответствует требованиям разделов 7, 8, 9 и приложений C, D, E. Для обеспечения свидетельств соответствия требованиям настоящего стандарта должен быть подготовлен полный отчет о результатах испытаний по форме, установленной в приложении F.

3 Нормативные ссылки

В настоящем стандарте использована ссылка на следующий международный стандарт:

ISO 20282-1:2006, Ease of operation of everyday products - Part 1: Design requirements for context of use and user characteristics (Удобство управления изделиями ежедневного использования. Часть 1. Требования к конструкции с учетом условий использования и характеристик пользователя)

4 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями.

4.1 фактические пользователи (actual users): Группа или группы людей, которые напрямую взаимодействуют с изделием.

Примечание - До выпуска изделия данный термин относится к предполагаемой группе пользователей. После выпуска он относится к фактическим пользователям.

[ИСО 20282-1:2006, определение 3.1]

4.2 потребительский товар (consumer product): Товар, предназначенный для приобретения и использования скорее в личных, чем в профессиональных целях.

[ИСО 20282-1:2006, определение 3.2]

4.3 условия оценки (context of evaluation): Пользователи, задачи, оборудование (аппаратные средства, программные средства, материалы), физическая и социальная среда, в которых оценивают продукцию.

4.4 условия использования (context of use): Пользователи, задачи, оборудование (аппаратные средства, программные средства, материалы), физическая и социальная среда, в которых используют продукцию.

[ИСО 9241-11:1998, определение 3.5]

4.5 удобство управления (ease of operation): Пригодность использования пользовательского интерфейса изделий повседневного использования при использовании их по назначению предполагаемыми пользователями.

Примечание 1 - В соответствии с ИСО 9241-11 [3] удобство управления является составной частью пригодности использования (см. 3.18). В настоящем стандарте этот показатель применяют к управлению изделиями повседневного использования. При оценке удобства управления предполагают, что пользовательский интерфейс и все составные части и системы продукции находятся в работоспособном состоянии.

Примечание 2 - Для оценки удобства управления измеряют результативность управления, иногда вместе с эффективностью и удовлетворенностью управлением продукцией.

[ИСО 20282-1:2006, определение 3.4]

4.6 результативность (effectiveness): Степень реализации запланированной деятельности и достижения запланированных результатов.

[ИСО 9241-11:1998, определение 3.2]

Примечание - Для целей метода испытаний, установленного в настоящем стандарте, результативность управления измеряют как процент пользователей, которые достигли основной цели (целей) использования изделия с необходимой точностью и полнотой. Измерения результативности управления основаны на успехе в достижении конечного результата независимо от того, достигнут он наиболее эффективным путем или нет.

4.7 результативность управления (effectiveness of operation): Процент пользователей, которые достигли основной цели предназначенного использования изделия с необходимой точностью и полнотой.

Примечание - Измерения результативности управления основаны на оценке успеха в достижении конечного результата независимо от того, достигнут он наиболее эффективным путем или нет.

[ИСО 20282-1:2006, определение 3.6]

4.8 эффективность (efficiency): Связь между достигнутым результатом и использованными ресурсами.

[ИСО 9241-11:1998, определение 3.3]

Примечание - Для целей метода испытаний, установленного в настоящем стандарте, эффективность управления измеряют в виде времени, затраченного на достижение основной цели (целей).

4.9 эффективность управления (efficiency of operation): Время, затраченное на достижение основной цели.

Примечание - Данный термин обозначает особый ресурс эффективности, как определено в 4.8.

[ИСО 20282-1:2006, определение 3.8]

4.10 изделие повседневного использования (everyday product): Потребительский товар или изделие с интуитивно понятным управлением, разработанные для использования широкими слоями населения.

Примечание 1 - Некоторые виды продукции разработаны как для использования населением, так и для профессионального использования. Данное определение относится только к непрофессиональному использованию изделий повседневного использования.

Примечание 2 - Термин "повседневное использование" не означает, что пользователь использует продукцию каждый день, а означает лишь, что продукция, как правило, присутствует в повседневной жизни человека.

[ИСО 20282-1:2006, определение 3.9]

4.11 цель (goal): Намеченный результат.

[ИСО 9241-11:1998, определение 3.8]

Примечание - Цель не зависит от функциональных средств, используемых для ее достижения.

4.12 предполагаемые пользователи (intended users): Люди или группа людей, для которых предназначена продукция.

Примечание 1 - Адаптированное определение из ИСО 9241-9:1999, определение 3.4.6.

Примечание 2 - Во многих случаях фактический объем совокупности пользователей отличается от первоначально предполагаемого изготовителем. Характеристика предполагаемой группы пользователей основывается на реалистической оценке того, кто будет фактически пользоваться продукцией.

[ИСО 20282-1:2006, определение 3.12]

4.13 взаимодействие (interaction): Двусторонний обмен информацией между пользователем и оборудованием.

[IEC/TR 61997:2001, определение 3.4]

Примечание 1 - Оборудование включает в себя как программные, так и аппаратные средства.

Примечание 2 - Обмен информацией может включать физические действия, за которыми следует сенсорная обратная связь.

4.14 основная цель (main goal): Наиболее распространенный или важный результат при использовании изделия, которого хотят достигнуть все пользователи или их подавляющее большинство.

[ИСО 20282-1:2006, определение 3.14]

Примечание - Примеры основных целей приведены в приложении А.

4.15 удовлетворенность пользователя (satisfaction): Отсутствие у пользователя дискомфорта при использовании продукции, положительное отношение к использованию продукции.

[ИСО 9241-11:1998, определение 3.4]

Примечание - Для целей метода испытаний, установленного в настоящем стандарте, удовлетворенность пользователя управлением измеряют, оценивая мнение пользователя об управлении пользовательским интерфейсом изделия.

4.16 удовлетворенность управлением (satisfaction with operation): Удовлетворенность пользователя управлением пользовательским интерфейсом продукции.

[ИСО 20282-1:2006, определение 3.16]

4.17 задача (task): Деятельность, необходимая для достижения цели.

Примечание - Эта деятельность может быть как умственной, так и физической.

[ИСО 9241-11:1998, определение 3.9]

4.18 пригодность использования (usability): Свойство продукции, при наличии которого установленный пользователь может применять продукцию в указанных условиях использования для достижения установленных целей с необходимой результативностью, эффективностью и удовлетворенностью.

[ИСО 9241-11:1998, определение 3.1]

4.19 пользователь (user): Человек, взаимодействующий с продукцией.

[ИСО 9241-11:1998, определение 3.7]

4.20 характеристики пользователя (user characteristics): Характерные свойства и особенности пользователя, которые могут повлиять на пригодность использования.

[ИСО 20282-1:2006, определение 3.20]

4.21 пользовательский интерфейс (user interface): Элементы продукции, используемые для управления и получения информации о состоянии продукции, а также взаимодействие, позволяющее пользователю использовать продукцию по назначению.

Пример - Пользовательским интерфейсом душевого крана является ручка управления водой, где движения ручки влево - вправо управляют температурой воды, а положение ручки показывает пользователю температуру.

Примечание - Перечень инструкций по эксплуатации, постоянно отображаемый на изделии, является частью пользовательского интерфейса.

[ИСО 20282-1:2006, определение 3.21]

4.22 испытательная группа пользователей (user test group): Группа людей, отобранных для участия в испытаниях изделий на соответствие их пригодности использования согласно установленным требованиям.

4.23 изделие (продукция) с интуитивно понятным управлением (walk-up-and-use product): Изделие (продукция) повседневного использования, предназначенное для широких слоев населения.

Примечание - Изделие (продукция), предназначенное для использования населением в торговых помещениях, например в магазине или офисе, как правило, является изделием (продукцией) с интуитивно понятным управлением.

[ИСО 20282-1:2006, определение 3.22]

5 Цель испытаний

Целью испытаний является проверка выполнения требований к удобству управления, сравнение вновь разработанных моделей изделий с предыдущими или изделиями конкурентов.

Примечание - Данный метод дополняет методы испытаний для формирующей оценки, к которым привлекают меньшее количество участников испытаний (см. приложение B).

Метод испытаний может быть использован:

- изготовителями для проверки выполнения требований к удобству управления и/или для предоставления свидетельств удобства управления изделием потребителям;

- потенциальными потребителями для проверки соответствия изделия их требованиям;

- потенциальными потребителями или испытательными организациями для сравнения с аналогичными изделиями.

Данные испытания могут быть проведены в лаборатории, а также при участии потребителей, если образец изделия устанавливают в месте, где могут быть проведены испытания с участием потребителей.

Пример 1 - Оценка результативности управления в условиях эксплуатации. Оператор подземной железной дороги устанавливает билетные автоматы на станции международного аэропорта и хочет быть уверен, что 80% посетителей, говорящих на поддерживаемых автоматом языках, смогут купить необходимый билет в один конец. Образец автомата устанавливают на станции. Основываясь на распределении важных характеристик пользователей в пределах предполагаемой совокупности пользователей, отбирают испытательную группу пользователей с типичными характеристиками в количестве 100 человек. Испытателей отбирают индивидуально и, если они соответствуют определенным требованиям, их приглашают использовать автомат для покупки билета. Этот процесс повторяют до выполнения требований отбора. Результат испытаний представляют в виде процента достижения цели с соответствующим доверительным интервалом. Чтобы на 95% быть уверенным, что 80% совокупности пользователей могут купить билет, 87 из 100 человек должны успешно пройти испытание (см. приложение D).

Пример 2 - Сравнение эффективности управления в лаборатории и в условиях эксплуатации. Оператор метрополитена устанавливает новые турникеты, которыми в основном будут пользоваться постоянные пассажиры. Скорость прохода через турникет важна, поскольку низкая скорость может создать очередь. Оператор желает проверить, что пользователи могут использовать новые турникеты хотя бы со скоростью не ниже скорости прохода через старые турникеты. Оба типа турникетов устанавливают в месте проведения испытаний и отбирают 50 испытателей. Их просят сформировать очередь для прохода через турникеты. Когда время выполнения задачи по проходу через турникет достигает стабильного уровня для каждого турникета, их сравнивают. Результат испытаний представляют в виде процента достижения цели, среднего времени выполнения задачи и соответствующего доверительного интервала. Время прохода через турникеты сравнивают с помощью подходящего статистического критерия значимости.

Пример 3 - Сравнение результативности и эффективности управления в лаборатории и в условиях эксплуатации. Изготовитель терминала самообслуживания, используемого посетителями для совершения покупок из каталога в магазине, хочет продемонстрировать (в маркетинговых целях), что его терминал легче использовать, чем терминалы конкурентов, и он обеспечит большую пропускную способность посетителей с меньшим количеством ошибок. Изготовитель ожидает, что новый терминал потребители могут использовать гораздо быстрее. Образец терминала устанавливают в магазине. Подсчитывают процент достижения цели и время выполнения задачи для определенных покупок, сделанных пятнадцатью пользователями, использующими терминалы в первый раз, и пятнадцатью опытными пользователями при использовании каждого вида терминала. Время на выполнение успешных покупок с использованием каждого терминала сравнивают при помощи дисперсионного анализа для выявления значимой разницы. Для получения большой выборки производят отбор данных из компьютеров магазина о проценте успешных покупок двухсот пользователей при использовании каждого из двух терминалов. Проценты успешных покупок сравнивают.

Примечание - Аналогичные методы испытаний могут быть применены для проверки других изделий. Варианты методов испытаний удобства управления и удобства установки повседневного использования приведены в ISO/PAS 20282-3 и ISO/PAS 20282-4.

6 Процедура испытаний

Для оценки удобства управления необходимо выполнить следующие действия:

a) определить изделие, которое необходимо испытать (см. 7.1);

b) определить ожидаемые условия использования (пользователи, задачи и среда) (см. 7.2);

c) проверить совместимость изделия с предполагаемыми характеристиками пользователей (см. 7.3);

d) определить количество групп для проведения испытаний (см. 7.4.1);

e) определить необходимые измерения, требуемые значения для измерений, необходимость сравнения двух результатов измерений (см. 7.4.2);

f) выбрать группу испытуемых, представляющих предполагаемых пользователей изделия (см. 7.4.4);

g) разработать процедуру испытаний, которая предусматривает использование изделия группой пользователей для достижения основных целей использования (см. 7.4);

h) определить процент достижения цели и при необходимости время выполнения задачи и удовлетворенность пользователя (используя анкету) (см. 7.4.2);

i) вычислить результативность управления (процент успешных попыток) и при необходимости эффективность управления (среднее время выполнения задачи) и удовлетворенность пользователя управлением (средние оценки в анкете) (см. 7.5 и раздел 8);

j) подготовить полный отчет и/или короткое резюме (см. раздел 9).

7 Метод испытаний

7.1 Определение изделия

Необходимо определить конкретное изделие для испытаний, его модель и при необходимости организацию, ответственную за предоставление услуг, поддерживаемых изделием.

7.2 Определение ожидаемых условий использования

7.2.1 Определение основных целей использования изделия

Основываясь на информации, предоставленной изготовителем или организацией, ответственной за установку изделия для общественного использования, должны быть определены основные цели использования изделия. Должны быть включены наиболее распространенные и/или важные цели пользователя, для которых изделие предназначено. Предполагают, что пользователи могут достичь этих целей при правильном управлении изделием. Цели должны быть описаны как намеченный результат, независимо от функциональных средств, используемых для их достижения.

В приложении А приведен перечень типичных изделий с интуитивно понятным управлением и основные цели использования каждого изделия. Эта информация дополнена примерами действий, которые обычно связаны с использованием изделия для достижения основной цели. Если изделие с интуитивно понятным управлением присутствует в списке, приведенном в приложении А, испытание должно быть выполнено с включением основной цели, указанной для этого изделия. Если для изделия установлены другие основные цели, то результаты испытаний необходимо представить отдельно по каждой цели (см. 8.1).

Примечание - У многих изделий повседневного использования основная цель является очевидной, например, у телефона - обеспечение телефонной связи, у торгового автомата - продажа товаров.

Должны быть установлены критерии полного и точного достижения цели.

Пример - Покупка самого дешевого билета на проезд из Лондона в Манчестер, действительного в нужное пользователю время и дату.

7.2.2 Определение задач

Необходимо определить действия, которые необходимы для достижения основных целей при использовании изделия с интуитивно понятным управлением. Это можно сделать, основываясь на информации, предоставленной изготовителем и/или организацией, ответственной за функционирование изделия или предоставление поддерживаемых изделием услуг. Организация, ответственная за функционирование изделия или предоставление поддерживаемых изделием услуг, может предоставить данные о частоте и характеристиках ожидаемых транзакций.

Эта информация требуется для планирования испытаний и анализа их результатов, но ее не включают в инструкции по выполнению задач (см. 7.4.7).

Пример 1 - Информация изготовителя для банкомата (ATM): вставьте карту, введите PIN-код, введите необходимую сумму, возьмите карту, возьмите деньги.

_________________

ATM (Asynchronous Transfer Mode) - передающее устройство, ориентированное на установление соединения при передаче разнообразной информации в сети.

Пример 2 - Информация изготовителя для автомата по продаже железнодорожных билетов для одного взрослого в один конец: выберите станцию назначения, вставьте деньги, возьмите билет.

Пример 3 - Информация изготовителя для общественного телефона: включите телефон (поднимите трубку), произведите оплату, произведите соединение с необходимым номером.

7.2.3 Определение предполагаемых или фактических групп пользователей

Основываясь на информации, предоставленной изготовителем и/или организацией, ответственной за функционирование изделия или предоставление поддерживаемых изделием услуг, должны быть определены фактические, если они есть, или предполагаемые группы пользователей. Должен быть установлен диапазон для каждой характеристики пользователя, перечисленной в ИСО 20282-1:2006, раздел 7, которая предположительно оказывает существенное влияние на удобство управления.

Пример - Предполагается, что совокупность пользователей банкомата, установленного в определенном месте, на 80% состоит из пользователей, говорящих на английском языке, на 10% - на французском, и на 10% - на других языках. Предполагается, что все пользователи имеют опыт использования банкоматов для проведения финансовых транзакций.

Для групп пользователей, участвующих в испытаниях, необходимо определить:

- характеристики пользователей, которые могут оказать влияние на удобство управления изделием;

- диапазон характеристик в группе фактических или предполагаемых пользователей;

- распределение каждой важной характеристики пользователей.

Определение характеристик пользователя включает в себя:

a) Определение физических характеристик

Необходимо определить, требуется ли для изделия задание конкретных физических характеристик (таких как размеры тела, сила, биомеханические возможности, зрительные возможности, слуховые возможности) или у него предусмотрена регулировка под конкретного пользователя. Для установления диапазона характеристик пользователей могут быть проведены испытания с участием пользователей, представляющих ожидаемые границы использования или существующие данные о диапазоне изменений характеристик человека.

Пример - Для определения высоты расположения управления торговым автоматом могут быть использованы известные антропометрические данные о росте человека.

b) Определение психологических и социальных характеристик

Важно установить, какие когнитивные характеристики или способности (например, знания и опыт, культурные особенности, уровень грамотности и язык) оказывают основное влияние на удобство управления. Для этого можно использовать экспертную оценку, данные из опыта использования или эмпирических исследований.

c) Определение пользователей с ограниченными возможностями

Необходимо определить пользователей изделия с ограниченными возможностями (например, пожилых пользователей), физические или психологические характеристики которых (такие как размеры тела, сила, биомеханические возможности, зрительные возможности, слуховые возможности, знания, опыт, уровень культуры, грамотность, язык) могут находиться на краю диапазона значений, предусмотренных для изделия. По возможности следует использовать существующие данные.

Пример 1 - В группу предполагаемых пользователей входят инвалиды-колясочники. Досягаемость пользователя на коляске определяют на основе существующих данных.

Если существует необходимость использования изделия определенными группами людей, физические и психологические характеристики которых находятся на краях диапазона изменения этих характеристик, может быть проведена дополнительная оценка.

Пример 2 - Для установления возможности использования изделия людьми со слабым зрением и инвалидами-колясочниками проводят дополнительные испытания.

7.2.4 Определение характеристик окружающей среды

Должны быть установлены характеристики окружающей среды, предназначенной для использования изделия. Кроме того, должны быть установлены характеристики физической или социальной среды, оказывающие значимое влияние на результативность достижения целей.

Пример - Торговый автомат установлен на улице, где может отсутствовать внешнее освещение в ночное время. Температура окружающего воздуха изменяется от -15°С до +40°С. У пользователя может возникнуть определенный стресс при наличии длинной очереди.

7.3 Проверка соответствия изделия характеристикам предполагаемых пользователей

Если проверка изделия показывает, что успешное достижение основных целей (см. 7.2.1) невозможно для некоторых людей из предполагаемой совокупности пользователей, для прогнозирования количества таких людей следует использовать существующие данные. Если доля таких пользователей превышает приемлемый уровень, то испытания с участием пользователей не проводят.

Пример - Предполагаемая совокупность пользователей автомата по продаже билетов включает в себя особую подгруппу - детей в возрасте от 8 лет с критерием успешной результативности управления 95%. Пользователи, у которых досягаемость руки (вперед) составляет менее 0,5 м, не смогут управлять автоматом для получения билета. Антропометрические данные для этой возрастной группы показывают, что 50% представителей данной группы не смогут приобрести билеты с помощью автомата.

7.4 Разработка испытаний

7.4.1 Определение количества групп для проведения испытаний

В пределах предполагаемой совокупности пользователей в испытаниях должны принять участие пользователи, представляющие весь диапазон возможных пользователей, но если какое-либо различие в условиях использования имеет существенное влияние на удобство управления, то каждая группа пользователей или условие использования должны быть испытаны или проанализированы по отдельности (см. приложение С).

Следует определить необходимость проведения отдельных испытаний для особых групп пользователей с характеристиками, затрудняющими использование изделия, например групп пользователей с определенным заболеванием.

7.4.2 Определение показателей

Для проведения испытаний должны быть определены:

a) требуемые показатели:

- результативность управления: если для достижения основных целей изделия повседневного использования необходимо выполнять задачи низкой сложности, которые не требуют много времени на выполнение, наиболее важным показателем удобства управления является его результативность;

- эффективность и/или удовлетворенность пользователей: требуется установить необходимость применения показателей эффективности и удовлетворенности пользователей;

b) требования к показателям или к сравнению двух показателей, а также требуемый уровень доверия.

Примечание - Чем выше требуемый процент успешного достижения цели и уровень доверия, тем больше требуется пользователей для участия в испытаниях. Для подтверждения научной гипотезы обычно применяют уровень доверия 95%, для некоторых бизнес-целей может быть достаточен меньший уровень доверия (например, 80%).

Пример 1 - Целью испытания является достижение процента успешного выполнения цели управления 80% пользователей с 95%-ным уровнем доверия (см. раздел 5, пример 1)

Пример 2 - Целью является сравнение удобства управления двух альтернативных изделий и установление наличия различий в удобстве их управления с 80%-ным уровнем доверия (см. раздел 5, примеры 2 и 3).

7.4.3 Определение сценариев и условий испытаний

Для каждой идентифицированной основной цели должен быть установлен сценарий испытаний (см. 7.2.1).

Сценарий испытаний должен включать четкое описание цели, которую необходимо достичь.

Пример 1 - Сделать телефонный звонок на номер 01509 123456, используя данный общественный телефон.

Пример 2 - Снять со счета €50 при помощи данного банкомата.

Для каждой цели испытаний должны быть определены условия ее успешного достижения, а также должен фиксироваться момент достижения цели. Так как критерием является успешное достижение цели, должны быть включены альтернативные методы достижения цели (с учетом ошибок, которые могут быть исправлены), которые могут рассматриваться как положительный результат, если только они не имеют нежелательных последствий, таких как риск или причинение вреда здоровью человека.

Для расчета времени, необходимого для выполнения задачи, должен быть определен признак выполнения задачи (обычно установленное действие или заявление пользователя).

Должно быть отведено максимальное время для успешного достижения цели и предоставлено достаточно времени, чтобы пользователь мог попробовать разные способы достижения цели (целей), прежде чем он откажется от использования изделия. Среднее время выполнения задачи должно быть вычислено с помощью предварительных испытаний. Максимальное время, отведенное пользователю на выполнение задачи, должно превышать среднее время выполнения задачи не менее чем в три раза.

Если необходимо провести испытания с несколькими целями, необходимо определить порядок выполнения целей. Обычно, если существует порядок выполнения целей, этот порядок применяют и при испытаниях. Если такой порядок отсутствует, то не следует при проведении испытаний использовать один установленный порядок. В этом случае порядок необходимо периодически изменять или выбирать случайным образом для каждого пользователя.

7.4.4 Отбор репрезентативной выборки пользователей

Для участия в испытаниях должна быть отобрана выборка, представляющая предполагаемые или фактические группы пользователей. Выборка должна отображать распределение значимых характеристик пользователей в пределах групп пользователей (приложение С). Все, участвующие в испытаниях, должны обладать характеристиками, соответствующими установленному диапазону характеристик пользователей, определенных в 7.2.3.

Следует определить необходимость деления пользователей на категории по характеристикам предполагаемых или фактических групп пользователей, так как это может оказать влияние на оценку удобства управления.

Следует определить, с какими пользователями необходимо проводить испытания: использующими изделие в первый раз или имеющими опыт работы с ним. Даже в случае нового изделия пользователи могут иметь опыт управления похожими изделиями или предыдущей моделью изделия, поэтому должен быть определен тип предыдущего опыта. Любой прошлый опыт использования похожих изделий для каждого пользователя должен быть зафиксирован.

Примечание - К испытаниям изделий с интуитивно понятным управлением предпочтительно привлекать людей, не имеющих опыта использования. Для изделий, предназначенных для регулярного использования, правильнее привлекать к испытаниям пользователей, имеющих опыт.

Необходимо отобрать пользователей с таким же распределением значений важных характеристик пользователя, что и у предполагаемых или фактических групп пользователей, определенных в 7.2.3, и записать характеристики каждого отобранного пользователя.

При испытаниях в условиях эксплуатации репрезентативная выборка может быть составлена на основе собеседования с обычными пользователями.

Многие физические и психологические характеристики (например, сила, острота зрения, когнитивные способности) могут быть выбраны с помощью демографических характеристик, таких как возраст и образование. Основными исключениями являются предыдущий опыт, специальные знания или умения и общая культура.

Пример - Новый автомат по продаже билетов выдает билеты с надежностью, которая зависит от времени дня, возраста пассажира, мест расположения автомата, используемого транспорта и наличия пластиковой карты. Для управления автоматом требуется определенная ловкость рук, хорошая острота зрения для считывания информации и умение быстро принимать решения, поскольку время выполнения операций ограничено. Для отражения важных характеристик пользователей отбирают пользователей с репрезентативным распределением возраста и уровня образования. В среднем 95% пользователей имеют предыдущий опыт оплаты стоимости проезда. В испытаниях должны участвовать пользователи, имеющие опыт работы с подобным автоматом, так как задача покупки билета для людей без опыта является достаточно сложной.

От количества отобранных пользователей и способа отбора выборки зависит достоверность результатов испытаний для выбранной совокупности пользователей (см. приложение С).

Испытатели не должны являться сотрудниками испытательной организации или изготовителя испытываемого изделия.

7.4.5 Изделие и оборудование

Испытываемое изделие должно представлять собой стандартную серийную модель. Если испытания проводят до завершения разработки, то используемый образец должен как можно точнее представлять серийную модель изделия, а все отличия должны быть описаны. Оценка изделия должна быть проведена вместе с оборудованием, которое оказывает влияние на его использование. Перед началом испытаний следует использовать настройки изделия по умолчанию или типичные настройки.

Пользователям не должны быть доступны никакие инструкции или руководства, кроме встроенных в изделие.

7.4.6 Среда, в которой проводят испытания

a) Испытания должны быть проведены в среде, которая как можно ближе соответствует среде использования изделия. Если испытания проводят в лаборатории по проверке пригодности использования, то должны быть смоделированы нормальные условия эксплуатации. При проведении испытаний в условиях эксплуатации необходимо проанализировать набор пользователей и задач.

Если на достижение целей могут неблагоприятно повлиять конкретные условия окружающей среды, то следует проводить испытания при наличии подобных условий, чтобы быть уверенным в приемлемости удобства управления в этих условиях.

Пример - Изделие обычно используется на холоде людьми, на руки которых надеты перчатки.

b) Если изделие используют в окружающей среде, вызывающей стресс у пользователя, то эту обстановку необходимо воспроизвести.

Пример - Шумная окружающая среда, ограничение по времени на приобретение билета, нетерпеливая очередь к банкомату.

7.4.7 Процедура испытаний

a) Для каждой задачи должен быть написан сценарий ее выполнения, содержащий инструкции, представляемые каждому пользователю. Сценарий должен устанавливать конкретную цель и условия испытаний, а также содержать описание задачи (например, приобретение билета на поезд на железнодорожной станции). Не должно быть никаких подсказок, как достичь поставленной цели, или какие функции необходимо использовать.

b) Пользователи не должны получать подсказки или помощь от персонала, участвующего в проведении испытаний.

c) Персонал, участвующий в проведении испытаний, должен фиксировать время достижения пользователем каждой цели. Если у пользователя кончается отпущенное на выполнение задачи время, то его должны попросить остановиться и, если возможно, перейти к следующей цели.

7.5 Показатели

7.5.1 Результативность управления

При проведении всех испытаний следует определять результативность управления. Результативность управления оценивают в виде процента пользователей, которые достигли основной цели использования изделия с необходимой точностью и полнотой. Для определения количества пользователей, успешно достигших каждой установленной цели, должен быть использован критерий успешного достижения каждой цели, установленной в соответствии с 7.2.1.

7.5.2 Эффективность управления

Если время достижения цели имеет важное значение при использовании изделия, то эффективность управления определяют как время, затраченное на достижение основной цели (целей). Время достижения цели измеряют как период времени от момента, когда пользователя попросили начать испытание, до момента достижения цели.

7.5.3 Удовлетворенность управлением

Удовлетворенность управлением оценивают с помощью отношения пользователя к управлению пользовательским интерфейсом изделия по шкале, приведенной в приложении Е. Если существует несколько основных целей, то удовлетворенность управлением должна быть определена для каждой цели и изделия в целом.

7.5.4 Другие данные

Для выявления проблем удобства использования с целью их учета при проектировании могут быть зафиксированы виды ошибок, совершаемых пользователями, и трудностей, с которыми они столкнулись. Это также относится к ситуациям частичного достижения целей.

8 Результаты

8.1 Основные цели

Если существует более одной основной цели, то результаты должны быть приведены для каждой цели, а также в целом для всех целей.

8.2 Результативность управления

Результат должен представлять собой процент пользователей, успешно достигших основной цели (процент успешных попыток), с соответствующим доверительным интервалом, как установлено в приложении D. Если существует более одной цели, то результат следует приводить для каждой цели.

Пример - 45 из 50 пользователей достигли основной цели при использовании видеомагнитофона. 90% пользователей достигли успеха, следовательно, с уровнем доверия 95% можно утверждать, что не менее 80,1% предполагаемых пользователей достигнут цели.

8.3 Эффективность управления

Оценкой эффективности управления является медиана времени достижения цели (целей) пользователями с соответствующим доверительным интервалом уровня доверия 95%.

Примечание - Если распределение времени выполнения задачи не является приблизительно нормальным (например, когда время выполнения отдельных задач слишком велико), перед проведением статистического анализа может быть использовано логарифмическое преобразование и определена медиана времени решения задачи.

Пример - Медиана времени, затраченного пользователем на приобретение необходимого билета, составила 20 с (с 95%-ной вероятностью можно утверждать, что истинное значение медианы находится между 15 и 25 с).

8.4 Удовлетворенность управлением

Фиксируемым в отчете результатом удовлетворенности пользователя управлением должно быть среднее арифметическое оценок удовлетворенности пользователя, поставленных всеми пользователями в соответствии со шкалой удовлетворенности (см. приложение Е).

9 Отчет

По результатам испытаний должен быть составлен полный отчет по форме, установленной в приложении F.

При использовании краткого варианта отчет должен включать следующую информацию:

a) группы пользователей и цели, использованные при испытаниях;

b) полученную оценку результативности управления в целом для всех целей;

c) при наличии более одной цели процент успешного достижения для каждой цели отдельно;

d) в случае определения:

- среднее или медиану времени достижения каждой цели,

- удовлетворенность пользователя в целом.

Приложение А
(обязательное)

Цели изделия

В таблице А.1 приведены основные цели некоторых изделий с интуитивно понятным управлением (используемых в общественных местах или в отеле).

Примечание - При наличии других важных основных целей проведения испытаний только для основных целей может быть недостаточно.

Таблица А.1 - Примеры изделий с интуитивно понятным управлением и их основных целей

Приложение B
(справочное)

Условия применения метода испытаний

B.1 Различия между формирующим и обобщающим методами

Настоящий стандарт содержит обобщающий метод испытаний, который может быть использован, например, для вычисления процента людей, успешно достигающих своих целей при реальном использовании изделия. Формирующие методы испытаний главным образом направлены на выявление проблем пригодности использования. Формирующие методы обычно требуют участия в испытаниях меньшего количества пользователей, которые должны сообщать вслух о своих намерениях и действиях, поэтому формирующие методы не позволяют получить точную оценку результативности, эффективности или удовлетворенности пользователя.

B.2 Различия пригодности использования и удобства управления

Удобство управления является составной частью пригодности использования изделий повседневного использования. Различия удобства управления и пригодности использования показаны в таблице B.1 (см. ИСО 20282-1, приложение B).

Таблица B.1 - Различия пригодности использования и удобства управления

Удобство управления является подходящим показателем для простых изделий, которым уделено основное внимание в настоящем стандарте. Однако для более сложных задач и изделий могут быть важны также другие показатели пригодности использования (например, оценка частичного выполнения задачи, умственной нагрузки или удовлетворенности определенными свойствами).

B.3 Выбор показателей

Для получения достоверных оценок удобства управления следует применять обобщающий метод испытаний, соответствующий ИСО 9241-11. Он отличается от обычных формирующих методов испытаний, к которым привлекают небольшое количество пользователей для выявления проблем пригодности использования.

В ИСО 9241-11 результативность определена с позиции точности и полноты выполнения задачи. При решении простых задач в пределах области применения настоящего стандарта для определения результативности используют только процент успешного достижения цели.

Примечание - Точность достаточно сложно измерить (см., например, ИСО/МЭК 25062).

В ИСО 9241-11 эффективность определена с позиции соотношения достигнутых результатов и использованных ресурсов. С практической точки зрения время является самым ценным ресурсом.

В ИСО 9241-11 удовлетворенность пользователя определена как отсутствие дискомфорта и положительное отношение к использованию продукции.

B.4 Количество пользователей

Иногда для определения большей части проблем пригодности использования достаточно небольшого количества пользователей, однако для получения достоверной оценки среднего процента успешных попыток достижения цели нужно большее количество пользователей. При участии в испытаниях большего количества пользователей проще получить репрезентативную выборку.

Приложение C
(обязательное)

Репрезентативная выборка пользователей

С.1 Общие положения

Для участия в испытаниях должна быть отобрана выборка пользователей, представляющая предполагаемые или фактические группы пользователей. Она должна моделировать распределение важных характеристик пользователей в пределах предполагаемых или фактических групп пользователей.

Примечание - Группа пользователей, с которой проводят испытания, может быть более специфической или общей, чем предполагаемая группа пользователей.

C.2 Деление пользователей на группы

Следует определить необходимость деления пользователей на отдельные категории и характеристики предполагаемых или фактических групп пользователей в соответствии с 7.2.3, что может оказать влияние на оценку удобства управления.

Если имеется несколько отдельных групп пользователей, то необходимо решить, с каким количеством групп следует проводить испытания в зависимости от цели испытаний.

Если требуется информация по удобству управления для различных групп пользователей, то необходимо включить в испытания достаточное для проведения статистического анализа количество представителей разных групп.

Пример 1 - Если наличие предыдущего опыта, знаний или владение определенным языком может оказать влияние на удобство управления, то должны быть сформированы соответствующие группы пользователей и каждая группа должна проходить испытания отдельно.

Если требуется информация по удобству управления только для всей совокупности, то следует использовать одну репрезентативную выборку, взятую из всей совокупности (см. С.4). Чтобы максимально повысить достоверность результатов, необходимо использовать выборку как можно большего объема. Статистические выводы об удобстве управления невозможно сделать для составных групп, представляющих собой малый процент всей совокупности.

Необходимо решить, с какими пользователями следует проводить испытания: использующими изделие в первый раз или имеющими предыдущий опыт. Даже в случае нового изделия, люди могут иметь опыт управления похожими изделиями или предыдущей моделью изделия, поэтому должен быть определен тип предыдущего опыта.

Пример 2 - Пользователи билетного автомата разделены на 4 группы в зависимости от знания использованного в автомате языка, наличия опыта, а также знания правил проезда и зонального тарифа:

a) пользователи без опыта, не говорящие на использованном в автомате языке;

b) пользователи без опыта, говорящие на использованном в автомате языке;

c) пользователи с опытом, использовавшие предыдущую модель билетного автомата, но не знакомые с испытываемым автоматом;

d) пользователи с опытом (пользователи предыдущей модели билетного автомата, которые уже использовали новую модель автомата).

Каждая группа проходит испытания отдельно, так как предполагается, что у них будут разные результаты по удобству управления.

Может быть испытана только одна группа, например пользователи, чаще других использующие изделие, или особо критичная группа пользователей.

Пример 3 - Ожидают, что будильник в отеле будет сложно настроить в первый раз, но легко в последующем. Проводят испытания с участием пользователей, которые не настраивали будильник в прошлом.

Пример 4 - Билетный автомат спроектирован так, чтобы его могли использовать иностранцы, поэтому для испытаний выбирают группу пользователей - иностранцев.

С.3 Объем выборки

Из-за различий в характеристиках пользователей изделий с интуитивно понятным управлением для получения репрезентативной выборки предполагаемой или фактической группы пользователей и достоверных результатов рекомендуется применять выборки, включающие не менее 50 пользователей в группе (меньший размер выборки может быть достаточен, если предполагается, что большая часть или все пользователи успешно достигнут цели).

Чем больше объем выборки, тем более точным будет прогнозирование (при условии, что выборка является репрезентативной по отношению к совокупности пользователей).

Пример - Если процент достижения цели составляет 90%:

- при успехе 18 пользователей из 20 нижняя граница доверительного интервала с уровнем доверия 95% составляет 18%;

- при успехе 45 пользователей из 50 нижняя граница доверительного интервала с уровнем доверия 95% составляет 10%;

- при успехе 90 пользователей из 100 нижняя граница доверительного интервала с уровнем доверия 95% составляет 6%.

C.4 Отбор репрезентативной выборки пользователей

Для участия в испытаниях должна быть отобрана выборка пользователей, которая является репрезентативной по отношению к важным характеристикам предполагаемой или фактической группы пользователей. Чтобы получить действительно репрезентативную выборку для изделия повседневного использования, может потребоваться очень большое количество пользователей. Так как это может быть слишком затратно, для получения выборки, представляющей основные важные характеристики, может быть использована расслоенная выборка.

Так как на практике довольно сложно отобрать необходимую случайную выборку, то используемая выборка должна моделировать распределение важных характеристик пользователей в пределах предполагаемых или фактических групп пользователей.

В отношении многих физических и психологических характеристик (например, силы, остроты зрения, когнитивных способностей), которые оказывают влияние на удобство управления, можно произвести непрямую выборку при помощи демографических переменных, таких как возраст, пол или образование. Пользователи должны представлять другие важные характеристики, для которых не удалось произвести выборку с помощью демографических переменных.

Пример 1 - В многонациональной совокупности пользователей выбирают таким образом, чтобы они репрезентативно представляли национальную культуру пользователей.

Пример 2 - При испытании потребительских товаров пользователей выбирают согласно их опыту использования товаров различных торговых марок.

Пример 3 - Будильник требует ловкости рук для работы с элементами управления и достаточной остроты зрения для прочтения инструкций. Для этих характеристик пользователя можно провести выборку с помощью отбора пользователей с репрезентативным распределением возраста и образования. Предполагается, что 5% пользователей имеет опыт использования данного типа будильника, и так как задача настройки будильника гораздо более сложна для людей без опыта использования, то испытания следует проводить только с пользователями, использующими будильник впервые.

Расслоенную выборку следует использовать для отражения распределения пользователей по возможно большему количеству сочетаний характеристик. Предпочтительные сочетания характеристик пользователя могут быть приведены в таблице.

Пример 4 - Возраст, пол и навыки чтения являются важными атрибутами. Распределение в совокупности пользователей:

Пол: мужчины: 45%; женщины: 55%.

Возраст: 20-39 лет - 40%; 40-64 лет - 40%; старше 65 лет - 20%.

Навыки чтения: низкие - 10%; средние - 20%; высокие - 70%.

Пример расслоенной выборки из 60 человек со взаимосвязанными характеристиками приведен в таблице C.1.

Таблица C.1 - Расслоенная выборка из 60 человек со взаимосвязанными характеристиками

C.5 Группы малой численности

Если невозможно включить в испытания группы малой численности (например, людей конкретной национальности или людей с конкретным заболеванием), представляющей очень небольшой процент предполагаемой совокупности пользователей в пределах репрезентативной выборки, то с этими группами могут быть проведены дополнительные испытания, для определения их возможностей использовать изделие.

Примечание - Если известно, что удобство управления является приемлемым для большинства пользователей из совокупности, то испытания для групп малой численности могут не проводиться.

C.6 Отбор пользователей

После определения важных характеристик пользователя потенциальные участники должны пройти тщательный отбор для формирования выборки. Для испытаний в лаборатории отбор производят заблаговременно. Если устройство с интуитивно понятным управлением установлено в общественном месте, то существует три варианта отбора пользователей:

a) Пользователи могут быть отобраны заблаговременно.

b) Для участия в испытаниях могут быть отобраны пользователи из числа людей, находящихся в месте установки изделия.

c) Решение о включении в выборку пользователя, имеющего опыт работы с изделием, принимают после наблюдения за работой пользователя с изделием.

C.7 Данные о нормальном использовании изделий

Данные могут быть получены при нормальном использовании изделия с интуитивно понятным управлением при помощи наблюдения (если возможно) или с помощью автоматического сбора данных устройством, которое настраивают на автоматическую запись действий и ответов пользователей.

Могут быть получены точные данные о времени выполнения задач, однако это время может включать также время отвлечения пользователя на что-либо иное. Данные процента успешного достижения цели могут иметь более низкую достоверность, так как содержат информацию также о людях, которые начали, но не закончили выполнять задачу. В эти данные не входит информация о людях, которые решили не начинать выполнять задачу, а также информация о недостижении предполагаемых результатов или прекращении выполнения задачи по другим причинам.

Такие данные будет сложно применить к ситуациям, когда изделия используют в других местах и в другое время, так как характеристики пользователей могут отличаться.

Хорошим способом сбора сравнительных данных является размещение двух разных изделий в одном месте.

Приложение D
(обязательное)

Доверительные интервалы

D.1 Результативность управления

Результативность управления показывает процент пользователей, успешно достигших основной цели (целей) использования изделия. Доверительные интервалы для результативности управления вычисляют на основе биномиального распределения (см. библиографию). Установление высокого процента успешного достижения цели с высоким уровнем доверия требует большого объема выборки пользователей. В таблице D.1 приведены примеры максимального количества пользователей, не достигших цели, необходимого для подтверждения, что процент пользователей, успешно достигших цели, составляет более 75% и 80%, с уровнями доверия 80% и 95% (при использовании односторонних доверительных интервалов).

Пример - Если 43 пользователя из 50 (86%) достигли цели, то с уровнем доверия 95% можно утверждать, что процент пользователей, достигших цели, составляет не более 75%, и с уровнем доверия 80% - что процент пользователей, достигших цели, составляет не более 80%.

Примечание 1 - Такие статистики применимы только для случайной выборки. Важно, чтобы пользователей выбирали случайным образом, а в случае расслоенной выборки важно, чтобы пользователи были отобраны случайным образом из каждой категории (см. приложение С).

Примечание 2 - Как правило, в научной сфере для принятия решений применяют уровень доверия 95%, однако для принятия решений в сфере бизнеса часто используют уровень доверия 80%.

В таблице D.1 показано, что максимальное количество пользователей, не достигших цели, требуемое для подтверждения того, что процент пользователей, достигших цели, более 80% с уровнем доверия 95%, составляет:

- 0 пользователей из 14-21;

- 1 пользователь из 22-29;

- 2 пользователя из 30;

- 3 пользователя из 40;

- 5 пользователей из 50;

- 13 пользователей из 100.

Максимальное количество пользователей, не достигших цели, требуемое для подтверждения, что процент пользователей, достигших цели, более 75% с уровнем доверия 95%, составляет:

- 0 пользователей из 11-16;

- 1 пользователь из 17-22;

- 2 пользователя из 23-28;

- 3 пользователя из 30;

- 5 пользователей из 40;

- 7 пользователей из 50;

- 17 пользователей из 100.

Примечание 3 - Другие оценки процента пользователей, достигших цели, в совокупности приведены в таблице D.1.

Таблица D.1 - Примеры доверительных интервалов

D.2 Эффективность управления

Доверительные интервалы для эффективности управления должны быть построены на основе стандартной ошибки среднего времени выполнения задачи. Если данные о времени выполнения задачи не подчиняются нормальному распределению, то они должны быть преобразованы в нормальное распределение, например, с помощью логарифмического преобразования, до вычисления стандартной ошибки.

Примечание - Размер доверительного интервала зависит от объема выборки и выборочной дисперсии. Выборочная дисперсия обычно уменьшается с увеличением размера выборки и увеличивается для совокупности, включающей более разнообразные элементы.

Пример - Стандартную ошибку среднего времени выполнения задачи вычисляют после логарифмического преобразования, она эквивалентна 4,2 с. Медиана времени выполнения задачи составляет 22,2 с, поэтому результаты могут быть представлены как медиана времени выполнения задачи 22,2 с. При этом можно утверждать, что интервал с границами 18,0 с и 26,4 с будет накрывать истинное значение с уровнем доверия 95%.

Приложение Е
(обязательное)

Шкала удовлетворенности управлением

Для оценки удовлетворенности управлением используют шкалу удовлетворенности управлением.

Кружки на шкале должны иметь 10,5 мм в диаметре, и шкала должна использоваться в точном соответствии с рисунком Е.1 с общей длиной 69 мм между центрами крайних кружков.

Для пользователей с проблемами зрения размеры могут быть пропорционально увеличены.

При использовании шкалы, изображения "лиц" (см. рисунок Е.1) должны быть использованы в точном соответствии с рисунком Е.1, так как все выпуклые и вогнутые линии в их изображении были отобраны по результатам специальных исследований.

Примечание - Шкала удовлетворенности представлена в [11]. Она широко используется в психологии для оценки эмоциональной удовлетворенности, а также применяется в тестах по пригодности использования. Исследования пятибалльной шкалы показали положительные результаты [10].

Инструкция пользователя:

"Пожалуйста, отметьте лицо, которое наиболее точно отражает степень вашей удовлетворенности управлением…"

Рисунок Е.1 - Шкала удовлетворенности пользователя

"Лица", изображенные на шкале, соответствуют условным значениям -2, -1, 0, +1, +2. Применение промежуточных значений не допускается. Значение, соответствующее группе, определяют как среднее арифметическое.

Приложение F
(обязательное)

Форма отчета о результатах испытаний

Примечание - Представленная в данном приложении форма отчета основана на общей форме для отчетов по результатам испытаний на пригодность использования и соответствует ИСО/МЭК 25062.

F.1 Титульный лист

На титульном листе должна быть представлена следующая информация:

a) обозначение отчета как отчета об испытаниях на удобство управления изделиями повседневного использования в соответствии с настоящим стандартом;

b) наименование испытываемого изделия и его модели;

c) время проведения испытаний;

d) метод проведения испытаний;

e) дата подготовки отчета;

f) наименование испытательной организации;

g) контактная информация испытательной организации с указанием специалиста для контактов.

F.2 Краткий обзор

В данной части отчета приводят законченный краткий обзор испытаний.

В обзоре должна быть представлена следующая информация:

a) наименование и описание изделия;

b) краткая информация о методах испытаний, в том числе количество и типы участников и задач;

c) результаты в виде средних значений или других показателей положения распределения.

F.3 Изделие и ожидаемые условия использования

F.3.1 Полное описание изделия

В данной части отчета должна быть представлена следующая информация:

a) официальное наименование изделия, его модели и модификации;

b) части или функции изделия, которые подвергались оценке при испытаниях.

F.3.2 Ожидаемые условия использования

В данной части отчета должна быть представлена следующая информация:

a) основные цели использования изделия;

b) предполагаемые или фактические группы пользователей изделия;

c) для некоторых групп пользователей, включенных в испытания:

- характеристики пользователя, которые могут оказать влияние на удобство управления изделием;

- диапазон характеристик, соответствующий предполагаемой или фактической группе пользователей;

- ожидаемое распределение каждой важной характеристики пользователя;

- подходит ли изделие для пожилых пользователей или другой группы с особыми требованиями;

d) основные виды среды, в которой изделие используют или предполагают использовать.

F.4 Метод

F.4.1 Общие положения

В отчете должно быть достаточно информации, чтобы процедуру, используемую в испытаниях, мог повторить независимый испытатель.

F.4.2 Участники

В данной части отчета должна быть представлена следующая информация:

a) все физические или когнитивные характеристики пользователя, влияющие на удобство управления;

b) общее количество участников испытаний;

c) группы пользователей, участвовавших в испытаниях, и обоснование их выбора для испытаний;

d) ключевые характеристики и способности каждой группы;

e) способ отбора участников: участники представляют значимые или иные характеристики;

f) все различия между выборкой участников и совокупностью пользователей;

g) информация об участниках в табличной форме, включая демографические данные, опыт и специальные требования.

Характеристики должны быть указаны со всей полнотой, необходимой для обеспечения набора аналогичной группы участников.

Характеристики должны быть значимы для удобства управления изделием; они должны позволять определить, насколько участники соответствуют совокупности пользователей.

Пример - В таблице F.1 приведен пример. Приведенные в таблице характеристики являются типовыми, но не охватывают все типы испытаний.

Таблица F.1 - Пример таблицы информации об участниках

F.4.3 Условия использования изделия

F.4.3.1 Общие положения

Должны быть зафиксированы все известные различия между оцениваемыми и предполагаемыми условиями использования.

F.4.3.2 Задачи

О задачах должна быть приведена следующая информация.

a) Сценарии выполнения задач в процессе испытаний.

b) Обоснование выбора задач.

Пример 1 - Наиболее частые задачи.

c) Способы выявления этих задач.

Пример 2 - Наблюдения за людьми, использующими аналогичные изделия или изучение маркетинговых характеристик изделия.

d) Все данные о задачах, предоставляемых участникам.

e) Критерии выполнения каждой задачи.

F.4.3.3 Среда испытаний

Об условиях проведения испытаний должна быть приведена следующая информация.

a) Место проведения испытаний.

Пример 1 - Лаборатория по проверке пригодности использования, помещение для совещаний, домашний офис, гостиница, вестибюль общественного здания.

b) Важные свойства или условия, которые могут повлиять на результаты испытаний.

Пример 2 - Оборудование видео- и аудиозаписи, односторонние зеркала или оборудование автоматизированного сбора данных.

F.4.3.4 Техническая среда

F.4.3.4.1 Общие положения

Если для функционирования изделия требуется дополнительное оборудование или услуги, то они должны быть указаны, например оператор, оказывающий услуги телефонной связи, пульт управления телевизора.

F.4.3.4.2 Компьютерные средства

Данное условие среды применимо только к изделиям, в которых используется программное обеспечение. Должно быть приведено достаточно информации для повторения и проверки испытаний, включая:

a) конфигурацию компьютера, в том числе модель, версию ОС, требуемые библиотеки или настройки;

b) при необходимости наименование браузера и его версию, наименования и версии важных программных расширений.

F.4.3.4.3 Устройства отображения информации

Должна быть предоставлена следующая информация:

a) если экран играет важную роль - размер экрана, его разрешающая способность, настройки цвета;

b) если печать играет важную роль - размеры бумаги или иного носителя и разрешение печати;

c) если элементы интерфейса (например, шрифты) могут быть различного размера, то используемый в испытании размер.

F.4.3.4.4 Устройства звукового вывода

Если эти устройства используются, должны быть предоставлены важные значения или настройки звука, его громкости и т.д.

F.4.3.4.5 Устройства ручного ввода

Если эти устройства используются, должна быть предоставлена информация по типам и моделям используемых устройств.

F.5 Разработка эксперимента

F.5.1 Общие положения

Должны быть указаны показатели, для которых была проведена запись данных.

F.5.2 Процедура

F.5.2.1 Общие положения

Должна быть приведена следующая информация:

a) контролируемые показатели функционирования;

b) ограничения на время выполнения задач;

c) правила и процедуры взаимодействия испытателей с испытуемыми;

d) порядок действий от приветствия участников до их роспуска;

e) детали, касающиеся соглашений о конфиденциальности заполнения форм, разминок, обучения перед выполнением задач, подробного доклада;

f) проверка знания и понимания участниками своих прав;

g) этапы проведения испытаний и записи данных;

h) количество и функции испытателей, взаимодействующих с участниками испытаний;

i) необходимость участия пользователей и других участников в процессе испытаний;

j) наличие оплаты услуг участников испытаний.

F.5.2.2 Основные инструкции для участников испытаний

Должна быть предоставлена следующая информация:

a) инструкции, предоставляемые участникам (инструкции приводят в основном тексте или в дополнении);

b) инструкции относительно взаимодействия участников с другими людьми, включая порядок обращения пользователей за помощью и взаимодействия с другими участниками испытаний.

F.5.2.3 Инструкции по выполнению задач

Должны быть приведены инструкции по выполнению задач.

F.5.3 Система показателей удобства управления

Должна быть приведена следующая информация (см. 7.5):

- показатели результативности управления;

- показатели эффективности управления;

- показатели удовлетворенности пользователя управлением.

F.6 Результаты

F.6.1 Отчет о результатах испытаний

Следующая информация должна быть приведена подробно, чтобы другая испытательная организация могла повторить использованный метод сбора данных при повторении испытаний.

a) Сбор данных и оценка в баллах.

b) Сокращение данных.

Пример 1 - Способ распределения данных по задачам или группам пользователей.

c) Исключенные данные с обоснованием их исключения.

Пример 2 - Обоснование всех статистических преобразований или исключения данных.

Показатели производительности для каждой задачи или группы пользователей должны быть представлены в виде таблицы.

Для описания удобства управления эффективно применение различных форм графического представления данных, обеспечивающих их наглядность. Для сравнения оценок экспертов и среднего времени, затраченного участником испытаний на выполнение задачи, могут быть эффективно использованы различные графики.

F.6.2 Данные о производительности

Для групп или соответствующих задач, если это необходимо, может быть представлена таблица данных о производительности.

Должна быть приведена следующая информация:

a) Сводная таблица данных о производительности по всем задачам.

b) Графическое представление данных о производительности.

Таблица F.2 является примером такой сводной таблицы.

Таблица F.2 - Пример сводной таблицы данных о производительности для группы пользователей

F.7 Дополнения

Должна быть приведена следующая информация:

a) общие инструкции для участников испытаний (если они не были представлены в основной части отчета);

b) инструкции для участников по выполнению задач.

В данном разделе также могут быть приведены замечания и предложения участников испытаний, относящиеся ко всем аспектам проведения испытаний.

Приложение G
(справочное)

Отзывы на ISO/TS 20282-2:2006

________________

Содержание данного приложения не имеет отношения к настоящему стандарту и приведено только для сохранения идентичности.

G.1 Адрес для отправки отзывов на ISO/TS 20282-2:2006

Международный комитет по стандартизации ИСО/ТК 159 заинтересован в получении информации об использовании ISO/TS 20282-2:2006. Отзывы на этот международный документ следует присылать в Технический комитет ИСО 159, подкомитет 1, на адрес электронной почты:

iso_tc159@din.de

G.2 Наиболее важные отзывы

Наиболее важны отзывы, относящиеся к следующим вопросам проведения испытаний:

- опыт использования, исследования на конкретном примере и опубликованные результаты;

- типы изделий, область их применения, количество групп пользователей, количество пользователей, наличие у пользователей болезней или ограничений;

- проблемы по использованию приведенного метода;

- предложения по улучшению метода;

- сложности выявления основных целей;

- проблемы, связанные с отбором репрезентативной выборки пользователей;

- различия результатов при проведении независимых испытаний двумя организациями;

- недостоверность полученных результатов и их интерпретация;

- возможность применения метода для испытаний других типов изделий.

Приложение ДА
(справочное)

Сведения о соответствии ссылочных международных стандартов национальным стандартам

Таблица ДА.1

Приложение ДБ
(справочное)

Сведения о соответствии ссылочных международных стандартов и документов, указанных в библиографии настоящего стандарта, ссылочным национальным стандартам

Таблица ДБ.1

Библиография

Электронный текст документа

и сверен по:

, 2019