Лабораторная работа по теме «№ 3. Измерение параметров качества» для КГТУ им. А. Н. Туполева

ЦЕЛЬ РАБОТЫ

Цель лабораторной работы – научиться выполнять измерения параметров качества экспертным методом и таким образом получить опыт практической работы в одном из наиболее динамично развивающихся разделов метрологии – квалиметрии, а также получить навыки работы со стандартами.

3.2 ТЕОРЕТИЧЕСКАЯ ЧАСТЬ

КОЛИЧЕСТВЕННАЯ ОЦЕНКА КАЧЕСТВА

Качество продукции, совокупность свойств продукции, обусловливающих её способность удовлетворять определенные потребности в соответствии с её назначением. Количественная оценка качества продукции – определение численных значений показателей качества продукции.

Свойства, составляющие качество продукции, характеризуются непрерывными или дискретными величинами – показателями качества, количественные характеристики которых – параметры качества.

Показатель качества продукции, характеризующий одно ее свойство, называется единичным, два и более свойств – комплексным. Интегральный показатель качества продукции – комплексный показатель качества продукции, отражающий соотношение суммарного полезного эффекта от эксплуатации или потребления продукции и суммарных затрат на ее создание и эксплуатацию или потребление. Относительная характеристика качества продукции, основанная на сравнении её с соответствующей совокупностью базовых показателей, называется уровнем качества продукции. Критерием оптимальности уровня качества продукции, т.е. её эффективности, может служить интегральный показатель качества продукции.

КВАЛИМЕТРИЯ

Квалиметрия (от лат. qualis — какой по качеству и …метрия), раздел метрологии, объединяющий методы количественной оценки качества продукции. Основные задачи квалиметрии: обоснование номенклатуры показателей качества, разработка методов измерения параметров качества.

Чтобы уверенно пользоваться инструментами квалиметрии, целесообразно сопоставить хорошо известные этапы технических измерений и квалиметрии. Такое сопоставление показано на диаграмме рис. 3.1.

Метрология | Технические измерения | Квалиметрия | Физические величины | Показатели качества | Инструмен-тальные методы измерений | Инструмен-тальные методы измерений | Экспертные методы измерений | Значения физических величин | Параметры качества

Рис. 3.1. Сопоставление этапов технических измерений и квалиметрии

На диаграмме рис. 3.1 показано, что понятиям «физические величины» и «значения физических величин» в технических измерениях аналогичны понятия «показатели качества» и «параметры качества» в квалиметрии. Аналогия становится особенно очевидной, когда в квалиметрии удаётся реализовать инструментальные методы измерений.

Инструментальный метод основывается на использовании технических средств измерений. Этим методом определяется, например, масса продукции, габаритные размеры изделия, время наработки на отказ и т.п. Измерения могут выполняться по любой измерительной шкале (см. прил. 3.3), но чаще других используется шкала отношений. Инструментальный метод является наиболее распространенным во всех отраслях народного хозяйства, особенно в промышленности. В силу объективности, высокой точности и возможности автоматизации измерений, этот метод является предпочтительным и должен применяться всегда, когда это возможно и экономически оправдано.

Экспертный метод измерения показателей качества применяется тогда, когда использование технических средств измерений невозможно, сложно или экономически неоправданно. Очень часто к нему прибегают, например, при определении эргономических и эстетических показателей. Экспертами используются все измерительные шкалы, но чаще других – шкалы порядка и интервалов. К экспертным методам относятся органолептический, социологический. Экспертные методы измерения показателей качества часто дополняются комбинаторным методом, а также методом Дельфы.

В органолептическом методе измерений в качестве первичных измерительных преобразователей используются органы чувств экспертов – зрения, слуха, обоняния, осязания и вкуса, а также чувство гравитации. Широкое распространение органолептический метод получил в медицине, пищевой и парфюмерной промышленности.

Социологический метод измерения показателей качества строится на массовых опросах населения или отдельных его социальных групп, члены которых тем самым выступают в качестве экспертов. Опрос может проводиться путем анкетирования, интервьюирования, голосования и т.п. Этот метод требует научно обоснованных систем сбора и обработки информации, предполагающих широкое применение средств автоматики и вычислительной техники. Социологический метод используется для определения значений показателей качества товаров народного потребления (например, спроса), выяснения общественного мнения и т.п.

Комбинаторный метод измерений сочетает инструментальное и органолептическое измерение качества продукции. Метод Дельфы содержит алгоритм действий, позволяющий достигать при экспертных измерениях заданных уровней точности и достоверности результатов.

Непосредственно с помощью измерений определяются обычно параметры единичных показателей качества. Патентно-правовые и экономические показатели, показатели однородности продукции, стандартизации и унификации получают расчётным путем. Посредством расчётов находят также значения комплексных показателей, как правило, путём взвешенного суммирования, хотя определение весовых коэффициентов при этом производится обычно экспертным или инструментальным методом. Во всех случаях нужно помнить, что результаты измерений являются случайными значениями параметров качества и математические действия над ними должны выполняться по правилам математической статистики.

Особое место в обеспечении качества продукции принадлежит стандартизации. Стандартизация устанавливает оптимальные показатели качества, параметрические ряды продукции, методы контроля и испытаний.

СТАНДАРТ ГОСТ Р 51061 – 97

ГОСТ Р 51061 – 97 распространяется на системы низкоскоростной передачи речи по цифровым каналам, имеющим выход в телефонную сеть общего пользования, и устанавливает параметры и нормы качества передачи (воспроизведения) речи и методы измерений следующих показателей:

слоговой разборчивости речи методом артикуляционных испытаний;

фразовой разборчивости речи при ускоренном по сравнению с нормальным темпом произношении;

качества речи испытуемой системы низкоскоростной передачи речи по методу парных сравнений с качеством речи эталонного тракта по контрольным фразам;

качества речи в реальных условиях работы методом абонентской оценки.

ТЕРМИНЫ, ОПРЕДЕЛЕНИЯ И СОКРАЩЕНИЯ

В ГОСТ Р 51061 – 97 применяются следующие термины с соответствующими определениями.

Низкоскоростные кодеки – устройства преобразования речевых сигналов в цифровой поток двоичных символов, следующих со скоростью менее 16 кбит/с, входящие в состав систем низкоскоростной передачи речи.

Разборчивость речи – относительное количество правильно принятых элементов речи (звуков, слогов, слов, фраз), выраженное в процентах от общего числа переданных элементов.

Качество речи – параметр, характеризующий субъективную оценку звучания речи в испытуемой системе низкоскоростной передачи речи, выраженную в баллах по пятибалльной шкале или в процентах предпочтения при сравнении с эталонным трактом.

Эталонный тракт – тракт, показатели качества речи которого известны и с которым сравнивают оцениваемую систему низкоскоростной передачи речи.

Нормальный темп речи – произношение речи со скоростью, при которой средняя длительность контрольной фразы равна 2,4 с.

Ускоренный темп речи – произношение речи со скоростью, при которой средняя длительность контрольной фразы равна 1,5 – 1,6 с.

Выход в сеть ТФОП – организация взаимодействия между низкоскоростной цифровой системой и сетью ТФОП, при котором становится возможным установление соединения и передачи речевой информации между пользователем низкоскоростной цифровой системы и абонентом ТФОП.

Узнаваемость голоса говорящего – возможность слушателей отождествлять звучание голоса, принимаемого из телефонного тракта, с конкретным лицом, известным слушателю ранее.

Смысловая разборчивость – показатель степени правильного воспроизведения информационного содержания речи.

Интегральное качество речи – показатель, характеризующий общее впечатление слушателя от принимаемой речи.

АЧХ – амплитудно-частотная характеристика.

ТФОП – телефонная сеть общего пользования.

ТЧ канал – канал тональной частоты с полосой пропускания 300 – 3400 Гц.

НИЗКОСКОРОСТНЫЕ СИСТЕМЫ ПЕРЕДАЧИ РЕЧИ

К низкоскоростным системам относят системы передачи речи, в которых речевой сигнал в цифровой форме передается со скоростью от 16 кбит/с и меньше до 0,6 – 0,8 кбит/с вместо стандартной скорости цифрового потока 64 или 32 кбит/с. При этом, в зависимости от метода обработки речевого сигнала и скорости цифрового потока, обеспечивается большой диапазон градаций разборчивости и качества переданной речи.

Все методы низкоскоростной передачи речи основаны на параметрическом кодировании, т. е. её представлении не речевым колебанием, а набором медленно изменяющихся параметров, определяющих понятность речи и в ряде случаев узнаваемость говорящего, требующих для своей передачи меньшей скорости цифрового потока.

При представлении речи параметрическими методами из речевого сигнала исключается часть имеющейся в нем избыточности, но одновременно происходит и изменение его структуры, приводящее к изменению характера звучания переданной речи. Это изменение обычно тем сильнее, чем меньше скорость передающего речь цифрового потока. При скорости менее 2 кбит/с речь, как правило, имеет механическое, «роботоподобное» звучание.

Основным элементом систем низкоскоростной передачи речи являются низкоскоростные кодеки, преобразующие речевой сигнал в низкоскоростные цифровые потоки, передаваемые по цифровым каналам связи.

В ГОСТ Р 51061 – 97 для упрощения записи во всех случаях вместо термина «система низкоскоростной передачи речи» используется термин «низкоскоростной кодек» или «кодек».

ГОСТ Р 51061 – 97 позволяет оценить пригодность низкоскоростных систем передачи речи для выхода в телефонную сеть общего пользования только по критерию качества звучания передаваемой речи.

Другие параметры речевого сигнала (например, его задержка), также являющиеся определяющими при выходе данной системы в ТФОП, установлены соответствующими нормативными документами Министерства связи РФ и Рекомендациями МСЭ.

3.3 МЕТОДИЧЕСКИЕ УКАЗАНИЯ К ВЫПОЛНЕНИЮ ЛАБОРАТОРНОЙ РАБОТЫ

ПРИБОРЫ И ОБОРУДОВАНИЕ, НОРМАТИВНЫЕ ДОКУМЕНТЫ

При выполнении измерений применяются следующие приборы и оборудование:

шумомер согласно ГОСТ 17187, класс точности 3;

персональный компьютер с устройством ввода-вывода речевой информации с характеристиками, соответствующими магнитофонам первой группы сложности согласно ГОСТ 24863;

набор дискет с речевыми тестами и слоговыми артикуляционными таблицами;

оконечное телефонное оборудование с электроакустическими характеристиками, соответствующими телефонному аппарату класса 0 согласно ГОСТ 7153;

магнитофон первой группы сложности согласно ГОСТ 24863;

динамические головные телефоны;

контрольный тракт – телефонный канал с полосой пропускания частот 300 – 3400 Гц.

В основу лабораторной работы положен Государственный стандарт Российской Федерации ГОСТ Р 51061 – 97 «Системы низкоскоростной передачи речи по цифровым каналам. Параметры качества речи и методы измерений». Применение этого стандарта в данной лабораторной работе основано на следующих допущениях:

в качестве системы низкоскоростной передачи речи по цифровым каналам может быть использована одна из систем: система оператора сотовой связи; система городской телефонной связи, основанная на цифровой АТС; система учрежденческой телефонной связи, основанная на цифровой мини-АТС;

изучение экспертного метода оценки качества на примере оценки качества речи может быть произведено без привязки к технической системе передачи, в условиях акустического канала связи;

в качестве эталонного тракта может быть применен акустический канал связи.

В соответствии с этими допущениями произведена адаптация текста стандарта для его применения в учебных целях и рассматриваются два варианта выполнения лабораторной работы:

оценка качества речи в системе низкоскоростной передачи речи по цифровым каналам;

изучение экспертного метода оценки качества на примере оценки качества речи в условиях акустического канала связи.

Выбор варианта выполнения лабораторной работы определяется преподавателем, в зависимости от условий проведения эксперимента и от структуры аудитории.

ПОДГОТОВКА К ИЗМЕРЕНИЯМ

Измерения должны проводиться в нормальных климатических условиях согласно ГОСТ 15150. Уровень и форма спектра акустического шума в помещении для испытаний должны быть указаны в технических условиях на испытуемый тракт конкретного типа. При отсутствии указаний, испытания проводят при уровне шума не более 50 дБ (по шкале А ГОСТ 13107).

Измерения проводит бригада операторов (дикторы и аудиторы), не имеющих явных дефектов речи и слуха. Измерения разборчивости речи проводит бригада в возрасте от 18 до 30 лет, в составе которой должно быть не менее трёх дикторов (двух мужчин и одной женщины) и трёх аудиторов. Состав бригады аудиторов произвольный. Аудиторы могут быть дикторами.

ВЫПОЛНЕНИЕ ЭКСПЕРИМЕНТА

Вариант 1 | Вариант 2

Для оценки качества речи в системе низкоскоростной передачи речи по цифровым каналам потребуется оборудование в одном из трех вариантов комплектации:

— два подключенных сотовых телефона;

— два телефонных аппарата, подключенных к цифровой городской АТС;

— два телефонных аппарата, подключенных к цифровой учрежденческой АТС.

В этом варианте оценивается качество речи, переданной по телефонному каналу связи. В качестве эталонного канала применяется кроткий (около одного метра) акустический канал. | Для изучения экспертного метода оценки качества на примере оценки качества речи в условиях акустического канала связи потребуется аудитория, в которой участники эксперимента могли бы быть визуально изолированы друг от друга.

В этом варианте оценивается качество речи, переданной по протяженному (около десяти метров) акустическому каналу связи. В качестве эталонного канала применяется короткий акустический канал.

ЗАДАНИЕ № 1. ИЗМЕРЕНИЕ СЛОГОВОЙ РАЗБОРЧИВОСТИ РЕЧИ МЕТОДОМ АРТИКУЛЯЦИОННЫХ ИСПЫТАНИЙ

Получите у преподавателя слоговые таблицы и бланки для измерений слоговой разборчивости речи методом артикуляционных испытаний, а также набор дискет с речевыми тестами и слоговыми артикуляционными таблицами.

Слоговую разборчивость измеряют по методике и таблицам слогов согласно ГОСТ Р 50840. Измерения проводит бригада операторов, прошедшая специальное обучение (тренировку), путём прослушивания на головные телефоны слоговых артикуляционных таблиц. Бригаду операторов рекомендуется обучить в два этапа.

На первом этапе обучения операторы знакомятся со структурой речевого материала, осваивают технику его произношения, а также адаптируются к восприятию речи, искажённой в испытуемом тракте или в соответствующих акустических условиях. Чтение слогов осуществляется диктором ровным голосом, четко, но без подчеркивания отдельных звуков, с постоянным уровнем громкости речи, который контролируется шумомером на испытательной фразе «Не видали мы такого невода». Слоги следует читать в следующем ритме: один слог за три секунды.

Диктор должен выдерживать постоянный ритм речи на протяжении чтения всей таблицы. Аудитор записывает принятые слоги в бланк, форма которого приведена на рис. 3.1. Если аудитор не понял переданного слога, в соответствующей графе бланка ставится прочерк.

Таблица № | Дата | Диктор | Тип тракта | Аудитор | Уровень шума, дБ | Чтение таблицы: в столбик, в строчку

1. | 11. | 21. | 31. | 41. | 2. | 12. | 22. | 32. | 42. | 3. | 13. | 23. | 33. | 43. | 4. | 14. | 24. | 34. | 44. | 5. | 15. | 25. | 35. | 45. | 6. | 16. | 26. | 36. | 46. | 7. | 17. | 27. | 37. | 47. | 8. | 18. | 28. | 38. | 48. | 9. | 19. | 29. | 39. | 49. | 10. | 20. | 30. | 40. | 50. | Рис. 3.1. Форма бланка для измерений слоговой разборчивости речи методом артикуляционных испытаний

На втором этапе тренировки проводится цикл измерений при использовании испытуемого тракта. Цикл измерений включает приём всеми аудиторами от всех дикторов по пять таблиц. Пятёрки таблиц должны иметь номера 1 – 5, 6 – 10, 11 – 15 и т.д. Использование при измерении неполной пятёрки таблиц не допускается. Для цикла измерений вычисляется среднее значение разборчивости S согласно (1). | (1)

где – результат единичного измерения, определяется как число совпавших слогов в таблице, прочитанной диктором и в таблице, записанной аудитором; определяется в процентах к общему числу слогов в таблице;

– число единичных измерений (число заполненных аудиторами бланков).

Тренировку считают законченной при достижении бригадой стабильных результатов измерения разборчивости согласно допустимым отклонениям, приведённым в табл. 3.1. Аудиторы, результаты которых имеют отклонение больше допустимых, подлежат замене или исключению из бригады.

Таблица 3.1

Допустимые отклонения от средних значений слоговой разборчивости

Среднее значение разборчивости, % | Отклонение от среднего значения, %

91 и более | 5

86 – 90 | 6

81 – 85 | 7

71 – 80 | 8

70 и менее | 9

При работе в акустических шумах бригада приступает к измерениям спустя 5 – 10 минут после пребывания в условиях шума. Полученное в результате измерений среднее значение разборчивости речи классифицируется по нормам согласно ГОСТ Р 50840 (табл. 3.2). Так определяется класс качества аппаратуры связи. Для работы в телефонной сети общего пользования допускается использовать кодеки, обеспечивающие класс качества по разборчивости речи не ниже первого.

Таблица 3.2

Классы качества и нормы разборчивости речи

Класс качества по разбор-чивости | Характеристика класса качества | Норма слоговой разборчивости речи для трактов с параметрическим кодированием, % | Норма слоговой разборчивости речи для трактов с кодированием волны речевого сигнала, %

Высший | Понимание передаваемой речи без малейшего напряжения внимания | >93 | >80

I | Понимание передаваемой речи без затруднений | 86 – 93 | 56 – 80

II | Понимание передаваемой речи с некоторым напряжением внимания, без переспросов и повторений | 76 – 85 | 41 – 55

III | Понимание передаваемой речи с некоторым напряжением внимания, редкими переспросами и повторениями | 61 – 75 | 25 – 40

IV | Понимание передаваемой речи с большим напряжением внимания, частыми переспросами и повторениями | 45 – 60 | <25

Записи в отчёт для вариантов 1 и 2:

записать номер и название задания, ссылку на данные для измерений, фамилии дикторов и аудиторов;

в качестве исходных данных записать – результаты единичных измерений;

записать вычисление среднего значения разборчивости

записать класс качества по разборчивости и сделать заключение о допустимости работы оборудования в телефонной сети общего пользования (в варианте 2 – заключение о пригодности акустических параметров аудитории для обмена информацией без малейшего напряжения внимания или без затруднений);

приложить к отчёту заполненные аудиторами бланки измерений слоговой разборчивости речи методом артикуляционных испытаний.

ЗАДАНИЕ № 2. ИЗМЕРЕНИЕ ФРАЗОВОЙ РАЗБОРЧИВОСТИ ПРИ УСКОРЕННОМ ТЕМПЕ ПРОИЗНОШЕНИЯ

Фразовую разборчивость при ускоренном темпе произношения измеряют по таблицам, состоящим из коротких (3 – 4 слова) фраз, в соответствии с ГОСТ Р 50840. Таблицы и бланки измерений слоговой разборчивости речи методом артикуляционных испытаний получить у преподавателя.

Бригада операторов состоит из дикторов (не менее 3 человек – мужчин и женщин) и аудиторов (4 – 5 человек). Тренировка бригады операторов не производится. Диктор читает одну таблицу фраз в нормальном темпе произношения (одна фраза за 2,4 с) и вторую таблицу в ускоренном темпе (одна фраза за 1,5 – 1,6 с). Пауза между фразами должна быть 5 – 6 с. Аудитор прослушивает сначала таблицу, прочитанную диктором в нормальном темпе, затем таблицу, прочитанную тем же диктором в ускоренном темпе.

Цикл измерений состоит из передачи всеми дикторами по 10 таблиц каждым и приема всеми аудиторами всех переданных таблиц.

Фразу считают неправильно принятой, если хотя бы одно слово принято неправильно, пропущено или добавлено. Фразовую разборчивость J находят как среднее значение для цикла измерений согласно (2). | (2)

где – фразовая разборчивость при нормальном или при ускоренном темпе произношения, %;

– результат единичного измерения, %; вычисляется как процент правильно принятых фраз для нормального и ускоренного темпов произношения;

– число единичных измерений.

Показатель снижения фразовой разборчивости вычисляют согласно (3).

(3) | Этот показатель для кодеков, предназначенных для работы в телефонной сети общего пользования, должен быть не менее 0,98.

Записи в отчёт для вариантов 1 и 2:

записать номер и название задания, фамилии дикторов и аудиторов;

в качестве исходных данных записать – результаты единичных измерений;

записать вычисления фразовой разборчивости , показателя снижения фразовой разборчивости при ускоренном темпе произношения ∆;

сделать заключение о допустимости работы оборудования в телефонной сети общего пользования (в варианте 2 – заключение о пригодности акустических параметров аудитории для обмена информацией без малейшего напряжения внимания или без затруднений);

приложить к отчёту заполненные аудиторами бланки измерений слоговой разборчивости речи методом артикуляционных испытаний.

ЗАДАНИЕ № 3. ОЦЕНКА КАЧЕСТВА РЕЧИ МЕТОДОМ ПАРНЫХ СРАВНЕНИЙ

Качество речи оценивают по контрольным фразам, в соответствии с ГОСТ Р 50840. Получите у преподавателя текст с контрольными фразами, бланки оценки качества речи по методу парных сравнений. Бригада аудиторов должна состоять из 10 – 12 человек. Аудиторами не могут быть специалисты по кодекам речи. Число дикторов должно быть не менее 5 (мужчины и женщины).

Каждую контрольную фразу диктор произносит два раза – один раз через оцениваемый тракт, другой – через эталонный тракт. Порядок чередования трактов – случайный. Контрольные фразы, произносимые диктором, могут быть записаны на магнитофон или в персональный компьютер, а затем прослушаны аудиторами в записи. Пауза между фразами 2 – 3 с, пауза между парами фраз 4 – 5 с.

Возможны два варианта оценки качества речи, либо по критерию «лучше — хуже», либо в баллах по пятибалльной шкале. В первом случае при прослушивании аудитор в бланке, образец которого приведен в прил. 3.1, ставит знак «+» в графе 1 или 2 в зависимости от того, какая фраза, по его мнению, звучит лучше. В том случае, если аудитор не может отдать предпочтение какому-либо варианту, он оставляет обе графы незаполненными. При подсчете числа предпочтений в случае незаполненных граф обоим вариантам засчитывается по 0,5.

Результат испытаний оценивают средним числом предпочтений согласно (4). | (4)

где P_1,2 – среднее число предпочтений первого или второго варианта произношения фразы;

– число случаев предпочтений соответственно первого или второго вариантов произношения фразы;

– число единичных измерений (число дикторов).

Далее вычисляют разницу чисел предпочтений согласно (5). | (5)

где P₁ – среднее число предпочтений первого варианта произношения фразы;

P₂ – среднее число предпочтений второго варианта произношения фразы.

При ∆P ≤ 15 % тракты считают одинаковыми, т. е. оцениваемый тракт с низкоскоростным кодеком передает речь с тем же качеством, что и стандартный телефонный тракт, и по показателю качества речи, измеренного по методу парных сравнений, пригоден для использования в телефонной сети общего пользования.

При 15 % < ∆P ≤ 75 % полагают, что кодек вносит искажения, заметные только при парных сравнениях испытательных фраз и незаметные при реальном телефонном обмене. Такой кодек по показателю качества речи, измеренного по методу парных сравнений, пригоден для использования в телефонной сети общего пользования.

При ∆P > 75 % критерий «лучше — хуже» неприменим. Полагают, что в передаваемой оцениваемым кодеком речи имеются искажения, хотя и не мешающие ее восприятию, но легко различимые. В этом случае качество речи по методу парных сравнений необходимо оценивать в баллах, согласно табл. 3.3.

При оценке трактов в баллах, аудитор, прослушав одну и ту же фразу, прошедшую через сравниваемые тракты, выставляет в графах 1 и 2 оценки в баллах с точностью до 0,1, соответствующие, по его мнению, качеству того и другого тракта, руководствуясь табл. 3.3 и учитывая, что качество речи, передаваемой через стандартный ТЧ канал, принято оценивать в 4 балла при работе от телефонного аппарата с динамическим микрофоном и при номинальном уровне сигнала.

Таблица 3.3

Соответствие между качеством речи и оценкой в баллах

Характеристика качества речи | Баллы

Естественность звучания речи. Высокая узнаваемос