Ім'я файлу: Лекция 3.ppt
Розширення: ppt
Розмір: 857кб.
Дата: 31.05.2022
скачати
Пов'язані файли:
терміни 2 тема.docx
Аналіз хору Маки Крцанісі (з прикладами).docx
job hunting.pptx
Завдання 1_Пайтон 10 клас.docx
Розширення: ppt
Розмір: 857кб.
Дата: 31.05.2022
скачати
Пов'язані файли:
терміни 2 тема.docx
Аналіз хору Маки Крцанісі (з прикладами).docx
job hunting.pptx
Завдання 1_Пайтон 10 клас.docx
ТЕОРИЯ ИНФОРМАЦИИ И КОДИРОВАНИЯ
Лекция 3
ВЫЧИСЛЕНИЕ ИНФОРМАЦИОННЫХ ПОТЕРЬ ПРИ ПЕРЕДАЧИ ИНФОРМАЦИИ ПО КАНАЛАМ СВЯЗИ С ПОМЕХАМИ
Совокупность технических средств используемых для передачи сообщений от источника к приемнику информации называется системой связи. К ним относятся телеграф, телефон, радио и телевидение, компьютерные теле-коммуникации и пр.
Понятие условной энтропии широко используется для определения информационных потерь при передаче информации. (Пример с лектором)
Рассматриваем ситуацию, когда элементы источника сообщений принимают состояния а1, а2,…..аm с вероятностями соответственно р(а1), р(а2),….р(аm), а элементы адресата – состояния в1, в2,…..вm, с вероятностями соответственно р(в1), р(в2),…..р(вm), то понятие условной энтропии Н(вj/ai) выражает неопределенность того, что отправив аi, мы получим вj.
Если в канале связи присутствуют помехи, то с различной степенью вероятности может быть принят любой из сигналов bj, и наоборот, принятый сигнал вj может появится в результате от- правления любого из сигналов аi.
Если в канале связи помехи отсутствуют, то всегда посланному сигналу а соответствует принятый сигнал в и т.д. При этом энтропия источника Н(А) равна энтропии приемника Н(В).
Если в канале связи присутствуют помехи, то они уничтожают часть передаваемой информации.
Процесс передачи информации по каналу связи может быть описан при помощи трех матриц.
I Канальная матрица заданная со стороны источника информации
Если канал связи описывается со стороны источника сообщений (т.е. известен посланный сигнал), то вероятность того, что при передаче сигнала а по каналу связи с помехами мы получим сигнал , обозначается как условная вероятность p(вj/ai)), а канальная матрица имеет вид:
p(вj/ai) – вероятность того, что принят символ вj при условии передачи символа ai
| В А | b1 b2 … bj …….. bm |
| а1 а2 аi аm | p(b1 / a1), p(b2 / a1), ...,p(bj / a1 ),..., p(bm / a1 ) p(b1 / a2 ),p(b2 / a2 ), ...,p(bj / a2 ),..., p(bm / a2 ) ………………………………………………………….. p(b1 / ai ), p(b2 / ai ) , ...,p(bj / ai ), ..., p(bm / ai ) …………………………………………………………… p(b1 / am ),p(b2 / am ),...,p(bj / am ), ..., p(bm / am) |
Основные свойства канальной матрицы заданной со стороны источника информации:
1. Вероятности, которые расположены по главной диагонали, определяют вероятности правильного приема, остальные – ложного.
Значения цифр, заполняющих колонки канальной матрицы, обычно уменьшаются по мере удаления от главной диагонали и при полном отсутствии помех все, кроме цифр, расположенных на главной диагонали, равны нулю.
2. Сумма вероятностей по каждой из строк всегда равна 1.
3. Взвешенная сумма по каждому из столбцов дает вероятность соответствующего принятого символа:
4. Прохождение данного вида сигнала со стороны источника сообщений в данном канале связи описывается распределением условных вероятностей вида p(вj/ai) . Например, для сигнала a1 распределением вида:
Потери информации, приходящиеся на долю сигнала аi описываются при помощи частной условной энтропии. Например, для сигнала а1:
Количество принятой информации при наличии помех для k переданных символов рассчитывается по выражению:
где Н(В)-энтропия принятых сообщений;
Н(В/А)-энтропия помехи.
Потери при передаче всех сигналов по данному каналу связи описываются при помощи общей условной энтропии. Для ее вычисления следует просуммировать все частные условные энтропии, т.е. произвести двойное суммирование по i и по j.
II Канальная матрица заданная со стороны приемника информации
Если исследовать канал связи со стороны приемника сообщений (т.е. известен принятый сигнал), то с получением сигнала вj предполагаем, что был послан какой-то из сигналов аi. При этом канальная матрица будет иметь вид:
p(ai/вj) – вероятность передачи символа ai ,при условии того, что принят символ вj
| В А | b1 b2 … bj …….. bm |
| а1 а2 аi аm | p(a1 / b1 ), p(a1 / b2 ), ...,p(a1 / bj ), ..., p(a1 / bm ) p(a2 / b1 ), p(a2 / b2 ), ...,p(a2 / bj ),..., p(a2 / bm ) ………………………………………………………….. p(ai / b1), p(ai / b2 ) , ...,p(ai / bj ), ..., p(ai / bm ) …………………………………………………………… p(am / b1),p(am / b2 ),...,p(an / bj ), ..., p(am / bm ) |
Основные свойства канальной матрицы заданной со стороны приемника сообщения:
1. Вероятности, которые расположены по главной диагонали, определяют вероятности правильного приема, остальные – ложного.
Значения цифр, заполняющих колонки канальной матрицы, обычно уменьшаются по мере удаления от главной диагонали и при полном отсутствии помех все, кроме цифр, расположенных на главной диагонали, равны нулю.
2. В этом случае единице должны равняться суммы условных вероятностей не по строкам, а по столбцам канальной матрицы
3. Взвешенная сумма по каждой из строк дает вероятность появления соответствующего передаваемого символа:
Количество принятой информации при наличии помех для k переданных символов рассчитывается по выражению:
где Н(А)-энтропия переданного сообщения;
Н(А/В)-энтропия помехи.
Задача Канал связи описывается следующей канальной матрицей. Определить информационные потери при передачи 400 символов.
1. Определяем тип канальной матрицы.
Матрица I типа, поскольку сумма вероятностей по строкам равна 1.
2. Информационные потери
Если прировнять эти два выражения, то получим выражение для информационных потерь
При передаче символа ai в результате действия помех он может быть принят как символ bj . Поэтому после получения очередного символа на выходе канала остается некоторая неопределенность в том, какой все же символ передавался по каналу. Эта неопределенность может быть оценена условной энтропией
Условная энтропия называется ненадежностью канала и определяет то количество информации, которое будет дополнительно получено после приема символа bi , если удастся уточнить, что был передан символ ai . Или иначе: – это часть информации, содержащаяся в символе ai и отсутствующая в символе bj , т.е. среднее количество информации на один символ, теряемое при передаче по каналу.
3. Рассчитываем необходимые p(ai)(вероятности появления переданного символа а на выходе источника). Считаем, что они одинаковы. p(ai)=p(a1) =p(a2)= p(a3)=1/3
4. Находим энтропию переданного сигнала
5. Рассчитываем энтропию помехи:
6. Рассчитываем вероятности p(bj):
7. Находим энтропию переданного сигнала:
8. Находим информационные потери:
Количество переданной информации:
Количество принятой информации:
III Канальная матрица на основе вероятностей объединение
Пусть (а1, а2 … аi..., ..., am), есть выборочное пространство А, характеризующее источник сообщений, а (b1,b2,…..bj, ..., bm ) есть выборочное пространство В, характеризующее приемник сообщений. При этом а есть сигнал на входе шумящего канала, а в – сигнал на его выходе. В этом случае взаимная энтропия представляет собой информацию о переданном сигнале аi , содержащегося в принятом сигнале bj . Взаимосвязь переданных и принятых сигналов описывается вероятностями совместных событий вида p (ai, bj), а взаимосвязь выборочных пространств А и В описывается матрицей объединения вида:
p(вj, аi )-вероятность передачи аi и приема bj
| В А | b1 b2 … bj …….. bm |
| а1 а2 аi аm | p(a1 , b1 ), p(a1 , b2 ), ..., p(a1 , bj ), ..., p(a1 , bm ) p(a2 , b1 ), p(a2 , b2 ), ..., p(a2 , bj ), ..., p(a2, bm ) ………………………………………………………….. p(ai , b1), p(ai , b2 ) , ..., p(ai , bj ), ..., p(ai ,bm ) …………………………………………………………… p(am , b1), p(an , b2 ),...,p(am , bj ), ..., p(am , bm ) |
Основные свойства канальной матрицы на основе вероятностей объединения:
1. Вероятности, которые расположены по главной диагонали, определяют вероятности правильного приема, остальные – ложного.
2. В этом случае единице должна равняться сумма всех элементов канальной матрицы:
3. Взвешенная сумма по каждой из строк дает вероятность появления соответствующего передаваемого символа аi :
4. Взвешенная сумма по каждому из столбцов дает вероятность появления соответствующего принятого символа bj :
5. Для перехода к канальным матрицам I и II вида используют следующие выражения:
6. Количество принятой информации:
Задача Определить количество принятой информации при передачи 400 символов, если задана канальная матрица
1. Определяем тип канальной матрицы.
Матрица III типа, поскольку сумма вероятностей всех элементов матрицы дала 1.
Рассчитываем необходимые p(ai)(вероятности появления переданного символа а на выходе источника).
3.Рассчитываем необходимые p(вi)(вероятности появления принятого символа в на выходе источника).
4.
5.
6. Количество переданной информации
Количество принятой информации
Информационные потери