Материал: Расчет информационных параметров канала связи. методические указания к выполнению курсового проекта по дисциплине Теория информации и кодирования. Поздышева О.В

2. Энтропия источника сообщений

Получатель знает весь набор возможных сообщений, которые могут быть ему направлены, но какое именно сообщение передано ему сейчас – для него тайна. Именно в этом и заключается неопределенность состояния получателя. Если сообщение принято и есть уверенность, что понято правильно, то неопределенность исчезает. Другими словами сообщение содержало в себе ровно столько информации, сколько было неопределенности у получателя.

Таким образом, центральным вопросом становится способ определения меры неопределенности сообщения. Эта величина называется энтропией.

Если источник информации {Х, p(xi)}, i = 1,M, располагающий алфавитом из M букв, передал «случайно для себя» букву j , то количество переданной информации составит, согласно Шеннону, величину H (хj ) = - log2 p(хj). Чем больше вероятность p(хj), тем меньшее количество информации было передано.

Обычно в теории информации работают со средними значениями, поэтому источник принято характеризовать средней (больцмановской) энтропией, определяемой по формуле

Нср( ) = − ∑ ( ) ∙ log2 ( ) .

Можно показать, что средняя энтропия максимальна, если все сообщения равновероятны, т.е.

1

( ) = ; ( ) = log2 .

Если каждой паре xi yj поставлена в соответствие

16

вероятность p(xi yj), то имеем произведение ансамблей

{XY, p(xy)}. Для элементов объединенного ансамбля имеют место обычные свойства вероятностей:

∑ =1 ( , ) = ( ) , ∑ =1 ( , ) = ( ).

Из указанных свойств, в частности, следует, что если задано произведение ансамблей, то всегда могут быть найдены исходные ансамбли {X, p(x)} и {Y, p(y)}.

Обратное возможно лишь в случае, когда элементы исходных ансамблей независимы, при этом

p(xi yj) = p(xi )· p(yj ).

В общем случае для зависимых ансамблей p(xi yj) = p(xi) · p(yj / xi) = p(yj) · p(xi / yj),

т.е. для определения вероятности элемента объединенного ансамбля необходимо задание условной вероятности появления элемента одного из ансамблей, при условии, что реализовался элемент другого ансамбля:

( ⁄ ) = ( ) , ( ⁄ ) = ( ) .

( )

Математически канал связи задается множеством допустимых сообщений на входе, множеством допустимых сообщений на выходе и набором условных вероятностей P(y/x) получения сигнала y на выходе при входном сигнале x. Условные вероятности описывают статистические свойства “шумов” (или помех), искажающих сигнал в процессе передачи.

На практике чаще всего используется модель симметричного двоичного канала связи.

Схемы и матрицы основных симметричных каналов

17

приведены на рис. 4, где р – вероятность трансформации сигнала; 1 - р - вероятность правильного прохождения сигнала.

Рис. 4. Схема и матрица двоичного симметричного канала связи

В реальных системах связи в результате искажений, которые возникают из-за шумов, действующих в канале связи, принятое сообщение отличается от переданного. Это означает, что в канале с шумами происходит потеря информации. Количество информации I(X) отражает свойство ненадежности системы.

Полную взаимную информацию ( ) можно определить исходя из начальных данных по следующим формулам:

В зависимости от условий поставленной задачи возможно найти все параметры системы, используя выше приведенные формулы.

Методы блочного кодирования, необходимые для решения данной задачи, приведены в следующей главе.

19