Учреждение образования

«Высший государственный колледж связи»

Факультет электросвязи

Кафедра Программное обеспечение сетей телекоммуникаций

Курс: Цифровая обработка речи и изображения

для специальности:

1-45 01 03                                 Сети телекоммуникаций

Лабораторная работа №3 Критерии оценивания качества воспроизведения речи и изображений. (8 часов)

Подготовил:

ст.преподаватель кафедры ПОСТ

Киркоров С.И.

Минск 2010


Лабораторная работа №3 Критерии оценивания качества воспроизведения речи и изображений. (8 часов).

1. Введение

Одним из наиболее мощных программных пакетов обработки мультимедийных данных является MatLab. С его помощью может осуществляться программное моделирование процессов и систем передачи информации. Основные достоинства применения MatLab для программного моделирования состоят в простоте программирования (синтаксис команд интерпретатора MatLab аналогичен синтаксису C-программ), в удобстве отладки программ (отсутствует необходимость в компиляции программы перед ее выполнением, после выполнения программы доступна информация о состояниях всех ее переменных), в простоте и эффективности визуализации результатов выполнения программы (формирование одномерных, двухмерных и трехмерных графических объектов), в поддержке большинства стандартных форматов представления и хранения файлов данных, аудио- и видео- информации (неподвижных и подвижных изображений), в наличии развитой библиотеки встроенных функций, реализующих основные операции обработки (информационные преобразования, фильтрация и т.д.) и хорошей документированности встроенных функций (поиск по функциям, описание функций, теоретические сведения по цифровой обработке сигналов, примеры программ).

2.1 Цель лабораторной работы:

Изучение критерий оценивания качества воспроизведения речи и изображений. Закрепление навыков полученных при выполнении лабораторных заданий №1 и №2.

2.2 Критерии оценивания качества воспроизведения речи и изображений

В данном разделе описываются некоторые критерии сравнения изображений. Везде считается, что изображение задается таблицей чисел состоящей из M строк и N столбцов. Каждое число в данной таблице описывает один пиксел, который представляется K битами. Во всех рассматриваемых здесь критериях сравнения степень близости изображений определяется числом, которое некоторым образом вычисляется по данным изображениям. Пусть первое изображение описывается таблицей чисел , а второе – . Для расчета оценок отличия изображений можно использовать следующие выражения:

  1. Пиковое отношение сигнал/шум PSNR

                                                                 

где  – среднеквадратичная ошибка, К – битовая глубина цвета, т.е. количество бит требуемое для представления одного пиксела. Обычно вычисляется в децибелах [dB]. Данная мера отличий изображений является классической и, в некотором смысле, эталонной. Во всех работах по сравнению изображений любой нововведенный критерий сравнивается с PSNR. Считается, что если значения PSNR больше чем 37 [dB], то различие изображений практически незаметно, а если меньше 20 [dB], то различие изображений является существенным и весьма значительным. Вместо PSNR иногда используются похожие выражения. Например, среднеквадратичная ошибка MSE, которая записана выше, максимальная среднеквадратичная погрешность PMSE,

                                                       ,

нормированная среднеквадратичная погрешность NMSE

                                                                  ,

отношение сигнал/шум SNR

                                             .

Все эти меры отличия изображений дают результаты более или менее похожие с PSNR. Поэтому их рассмотрение не является целесообразным, при условии, что используется PSNR.

2.      Максимальная абсолютная ошибка MAE

                                                           .
Также рассматривается, как классическая мера отличия изображений. Если изображения идентичны, то MAE = 0. Данная метрика хорошо отмечает даже самые малые различия двух изображений, что, с другой стороны, является ее недостатком. Поэтому она не так часто, как PSNR, используется в литературе по оценке отличия изображений.

3.      Индекс структурной похожести (SSIM)

                                                      ,

где  – среднее значение первого изображения,  – среднее значение первого изображения,  и  – выборочные дисперсии первого и второго изображений соответственно,  – выборочный коэффициент корреляции. Неотрицательные константы  и  выбираются, вообще говоря, произвольно. Данный индекс впервые был введен в работе Z. Wong, A.C. Bovik, H.R. Sheikh, E.P. Simoncelli Image quality assessment: from error visibility to structural similarity IEEE Transaction on Image Processing, V. 13, No. 3, 2004, 600–612. Эта формула является обобщением индексов SIM и UQI, которые были предложены этими же авторами до этого. В этой же статье авторами предлагаются следующие значения  и , где , К – битовая глубина цвета, т.е. количество бит требуемое для представления одного пикселя. Множители перед L в константах  и  следует выбирать достаточно малыми. SSIM, наряду с его предшественниками SIM и UQI, являются одними из модных в настоящее время эмпирических мер сравнения изображений.

Индекс структурной похожести может принимать значения от -1 до 1. Причем SSIM = 1, если изображения совпадают. Дополнительную информацию об индексе структурной похожести и ее аналогах можно найти в работах A.C. Bovik, Z. Wong и других (см. цитируемые работы в указанной выше статье).

4.      Приведенная нормализованная мера совместной информации NMIM
                                                    ,

где , ,  – энтропии соответствующих изображений,  – совместная энтропия. Здесь  – соответствующие плотности распределения (или относительные частоты).

В теории информации совместной информацией, содержащейся в двух изображениях, называется число, которое вычисляется по следующей формуле . При помощи совместной информации выражение для NMIM можно записать в таком виде

                                                                     .

При такой нормализации NMIM может принимать значения от 0 до 1. Причем NMIM = 0, если изображения совпадают и NMIM = 1, если изображения независимы. Такая метрика впервые вводится в работе Zhang, J., Rangarajan, A.: Affine image registration using a new information metric. IEEE Computer Vision and Pattern Recognition (CVPR). Vol. 1. (2004) 848–855. В следующей работе Zhang, J., Rangarajan, A.: Multimodality image registration using an extensible information metric and high dimensional histogramming данная метрика применяется для обработки медицинских изображений. Там же приводятся ссылки на работы, в которых используется совместная информация MI при рассмотрении аналогичных вопросов.

Для дискретных изображений NMIM считается следующим образом. Обозначим через  и  количество пикселей со значением a в изображениях X и Y соответственно, а через  количество пар пикселей  в изображениях X и Y таких, что  и . Тогда  и , где суммирование проводится по всем значениям, которые могут принимать пиксели из соответствующих изображений. Для совместной энтропии имеем , здесь суммирование проводится по всем парам значений, которые могут принимать пиксели из соответствующих изображений.

5. Степень сжатия изображений bpp (bits per pixel).

, где— общее количество битов в сжатом изображении, , — размеры изображения по вертикали и горизонтали в пикселях. Данная характеристика является общепринятой для оценки степени сжатия изображений. Так, например, если изображение не подвергалось сжатию и для хранения одного пикселя использовалось 8 бит, то. Для 8-ми битных изображений при сжатии от 10 до 20 раз bpp меняется от 0.8 до 0.4 соответственно.

2.3 Рекомендации по вычислению выбранных метрик оценки качества изображений

При вычислении метрик MAE, PSNR, SSIM, NMIM, по предлагаемым  формулам в случае очень больших изображений, может возникнуть переполнение регистров. Например, при вычислении MSE по формуле  для двух 8-битных квадратных изображений изображений  и  в худшем случае может быть для всех . Отсюда . При использовании плавающей точки типа float, когда на число отводится 32 бита, уже при относительная погрешность превосходит 50%. При использовании фиксированной точки неприемлемые результаты получаются при еще меньших величинах . Есть несколько способов избежать ошибок переполнения.

Способ 1. Для вычислений сумм вида можно воспользоваться рекуррентными формулами или . В этом случае при использовании типа float переполнение не происходит при . Недостатком этого метода является то, что существенно увеличивается время работы алгоритмы вычисления метрики, т.к. для каждого пикселя нужно выполнять деление типа float.

Способ 2. Допустим, необходимо вычислить . Если можно представить в виде , а именно так и есть в случае вычисления предлагаемых метрик  ( — высота и ширина изображения), то можно воспользоваться следующим алгоритмом:

1.      Присвоить

2.      Цикл: для каждого i от 0 до  выполнить:

, где сумма вычисляется обычным суммированием,

завершение цикла.

3.      Вывести S.

Выбор разбиения  должен осуществляться таким образом, чтобы при вычислении  не возникало переполнения. При естественном разбиении 8-ми битного изображения по строкам и столбцам, это условие выполняется для изображений с . Способ 2 работает существенно быстрее, т.к. количество делений сокращается в  раз.

            При вычислении метрик, в которых участвуют выражения вида   во избежание ошибок переполнения при суммировании большого количества слагаемых, рекомендуется вычислять такие выражения по правилу:

,

где средние арифметические в правой части вычисляются, скажем, способом 2.

3. ЛАБОРАТОРНОЕ ЗАДАНИЕ

3.1. Изучите теоретическую часть.

3.2. Используйте опыт и навыки полученные в при выполнении заданий  способы лабораторных работ №1, №2 в MATLAB с мультимедийными данными (Приложение лабораторному практикуму): Example_1_1, Example_1_2, Example_1_3, Example_2_1, Example_2_2, Example_2_3, Example_2_4, Example_3_1, Example_3_2, Example_3_3, Example_3_4, а также программу реализующую алгоритм квантования и используйте набор тестовых изображений.

3.3 Создайте квантованное изображение в соответствии со своим вариантом (вариант изображения берутся по последнему номеру в списке журнала группы 1_1-1_6, 2_1-2_6 и т.д.).

3.4. Вычислите характеристики по критериям в соответствии с разделом 2.2 сравнивая исходное и квантованное изображения.

3.5. Оформите отчет и сделайте выводы.

3.6. Факультативно.

3.6.1 Выполните п.3.3 заменив алгоритм на JPEG и JPEG2000. Выполните сжатие и восстановление изображения (BMP=>JPEG=>BMP; BMP=>JPEG2000=>BMP). Оцените потери в изображении по сравнении с исходным изображением. Постройте графики и таблицы для сравнения с разными степенью сжатия (5,10,20,50,100). Сравните алгоритмы сжатия JPEG и JPEG2000. Постройте графики и таблицы для сравнения. Сделайте выводы.

4. СОДЕРЖАНИЕ ОТЧЕТА

4.1 Решение задач задания.

4.2. Результаты выполнения работы.

4.3. Анализ результатов и выводы.