Ентропія сигналів

[ виправити ] текст може містити помилки, будь ласка перевіряйте перш ніж використовувати.

скачати

Контрольна робота
По курсу: Теорія інформації та кодування
На тему: Ентропія сигналів

1. ЕНТРОПІЯ ОБ'ЄДНАННЯ
Об'єднання - сукупність двох і більше ансамблів дискретних, випадкових подій. З об'єднанням пов'язані поняття умовної, безумовної, спільної та взаємної ентропії.
1. Безумовна ентропія - середня кількість інформації, що припадає на один символ (рис. 1). Якщо Х - передається, а У - прийняте повідомлення, то можна записати наступні співвідношення:
H (X) = H (X / Y) + H (X × Y),
H (Y) = H (Y / X) + H (X × Y).



X Y X Y
Рис. 1. Безумовна ентропія
2. Умовна ентропія - кількість інформації про джерело, коли відомо, що приймається Y, або міра кількості інформації в приймачі коли відомо, що передається X (рис. 2).
H (X / Y) = H (X)-H (X? × Y)
H (Y / X) = H (Y)-H (X? × Y).


X Y X Y

Рис. 2. Умовна ентропія

3. Спільна ентропія - середня кількість інформації на пару пе-Реда і прийнятих символів (рис. 3).
H (X, Y) = H (Y, X) = H (X) + H (Y / X) = H (Y) + H (X / Y) = H (X) + H (Y)-H ( X × Y).
4. Взаємна ентропія - ентропія спільного появи статистично-залежних повідомлень (рис. 4).
H (X ×? Y) = H (Y × X) = H (X)-H (X / Y) = H (Y)-H (Y / X) = H (X, Y)-H (X / Y) - H (Y / X).
X Y

Рис. 3 Спільна ентропія
X Y


Рис. 4. Взаємна ентропія
На практиці найчастіше зустрічаються взаємозалежні символи і повідомлення. Наприклад, при передачі текстових повідомлень передаються не просто букви, а слова, що мають певні смислові значення. При цьому, кожна буква, і поєднання букв мають різні ймовірності появи в тексті. Умовна ентропія враховує взаємозв'язок подій через їх умовні ймовірності.
Розглянемо схему рис. 5:

Приймач
повідомлень
Джерело
повідомлень
X Y
Рис. 5. Передача повідомлень
Джерело повідомлень X - виробляє повідомлення, елементами якого є символи алфавіту джерела {x 1, x 2 ,..., x m}, ймовірності появи на виході яких рівні p (x 1), p (x 2), ..., p (x m), при цьому:

Ентропія джерела являє собою невизначеність появи на виході джерела повідомлень символу первинного алфавіту і визначається співвідношенням:
()
Приймач повідомлень Y - приймає повідомлення, елементами якого є символи алфавіту приймача {y 1, y 2 ,..., y m}, ймовірності появи на вході яких рівні p (y 1), p (y 2 ),..., p (y m), при цьому:

Ентропія приймача являє собою невизначеність появи на вході приймача повідомлень символу після його появи на виході джерела і визначається співвідношенням:
(2)
Якщо в каналі зв'язку відсутні втрати інформації (немає перешкод, вико-каженій і т. д.), то символу x i відповідає символ y i. В іншому випадку x i може бути прийнятий як будь-який з можливих y 1, y 2 ,..., y m, з відповідними ймовірностями.
При відсутності втрат: H (X) = H (Y). При наявності перешкод вони знищити-жають частину інформації. При цьому втрати інформації можна визначити через приватні та загальну умовну ентропію.
Обчислення загальної умовної ентропії зручно проводити за допомогою канальних матриць (матрицею перехідних станів).
Втрати інформації в каналі можна оцінювати з боку джерела або приймача повідомлень.
Розглянемо порядок визначення втрат з боку джерела (відомий передається сигнал). При цьому, умовна ймовірність p (y j / x i) означає ймовірність того, що при передачі повідомлення x i отримано повідомлення y j. Канальна матриця має вигляд, наведений в табл. 1.
Таблиця 1
Y
X
y 1 y 2 y m
x 1
x 2
x m
p (y 1 / x 1) p (y 2 / x 1). . . p (y m / x 1)
p (y 1 / x 2) p (y 2 / x 2). . . p (y m / x 2)
p (y 1 / x m) p (y 2 / x m). . . p (y m / x m)
При цьому:
.
Вірогідність, розташовані на діагоналі характеризує ймовірність правильного прийому, решта - помилкового, ніж вони розташовані далі від діагоналі, тим вони менше. При відсутності перешкод в каналі зв'язку елементи матриці, розташовані по діагоналі, дорівнюють одиниці, а всі інші рівні нулю. Канальні матриці завжди квадратні, тому що кількість переданих сигналів, дорівнює кількості прийнятих, хоча ймовірність проходження окремих сигналів може бути дорівнює нулю.
Втрати інформації, викликані впливом перешкод, визначаються за допомогою умовної ентропії. Для рівноймовірно сигналів на виході джерела загальна умовна ентропія обчислюється за формулою:
. (3)
Для не рівноймовірно сигналів на виході джерела загальна умовна ентропія обчислюється за формулою:
(4)
Приватна умовна ентропія визначає втрати інформації, що припадають на частку якого - небудь конкретного сигналу (наприклад, втрати для сигналу x 1)
. (5)
При відсутності перешкод ймовірність отримання правильного сигналу стане безумовною, а умовна ентропія буде дорівнює нулю.
Для дослідження каналу з боку приймача (відомий отриманий сигнал) - умовна ймовірність p (x i / y i) означає ймовірність того, що при прийомі повідомлення y i було передано повідомлення x i.
Канальна матриця має вигляд, наведений в табл. 2.
Таблиця 2
Y
X
y 1 y 2 y m
x 1
x 2
x m
p (x 1 / y 1) p (x 1 / y 2). . . p (x 1 / y m)
p (x 2 / y 1) p (x 2 / y 2). . . p (x 2 / y m)
p (x m / y 1) p (x m / y 2). . . p (x m / y m)
Ймовірності розташування на діагоналі характеризує ймовірність правильної передачі, решта - помилковою. Для рівноймовірно сигналів на вході приймача загальна умовна ентропія обчислюється за формулою:
. (6)
Для не рівноймовірно сигналів на вході приймача загальна умовна ентропія обчислюється за формулою:
(17)
Приватна умовна ентропія, що визначає втрати, що припадають на частку сигналу y 1, дорівнює:
. (8)
Приклад 1. Обчислити ентропію джерела повідомлень, що видає два символи 0 і 1 з ймовірностями p (0) = 3 / 4, p () = 1 / 4 і умовними ймовірностями: p (0 / 0) = 2 / 3, p (/ 0) = 1 / 3, p (0 / 1) = 1, p (/ 1) = 0, тобто після 1 завжди йде 0.
Рішення: Для випадку взаємозалежних, не рівноймовірно елементів ентропія дорівнює:

Приклад 2. Визначити ентропію джерела повідомлень, якщо імовірність-ності появ символів на вході приймача, рівні: P (b 1) = 0,1; P (b 2) = 0,3; P (b3) = 0,4, P (b 4) = 0,2 а канальна матриця має вигляд:
P (a / b) = .
Сума ймовірності при однойменних умовах дорівнює

Рішення: Визначимо ентропію джерела
.

= 0,1 × 0,99 +0,3 × 0,2 +0,4 × 0 = 0,105;
= 0,1 × 0,01 +0,3 × 0,98 +0,4 × 0,01 +0, × 2 × 0,01 = 0,301;
0,1 × 0 +0,3 × 0 +0,4 × 0,98 +0,2 × 0,02 = 0,396;
0,1 × 0 +0,3 × 0 +0,4 × 0,01 +0,2 × 0,97 = 0,198;
Перевірка:
0,105 +0,301 +0,396 +0,198 = 1.
При цьому ентропія джерела дорівнює:
H (A) =- (0,105 × log 0,105 +0,301 × log 0,301 +0,396 × log 0,396 +0,198 × log 0,198) = 1,856 біт / симв.
Приклад 3. Визначити ентропію джерела і умовну ентропію повідомлень, переданих по каналу зв'язку, і складаються з рівноймовірно символів, якщо вплив перешкод у каналі описується матрицею:
.
Рішення: Для рівноймовірно символів в повідомленні ентропія джерела повідомлень дорівнює:
біт / симв.
Повна умовна ентропія дорівнює:



=
біт / симв.
Приклад 4. Визначити ентропію приймача повідомлень, якщо ймовірності появи символів a 1, a 2 і a 3 на вході джерела повідомлень рівні P (a 1) = 0,5; P (a 2) = 0,3 та P (a 3) = 0,2, а канальна матриця має вигляд:
,
Рішення: Ентропія приймача дорівнює:
.
Ймовірності появи символів на вході приймача

;
;
.
Перевірка:
.
При цьому:

2. ЕНТРОПІЯ ДЖЕРЕЛА БЕЗПЕРЕРВНИХ ПОВІДОМЛЕНЬ
ДИФЕРЕНЦІАЛЬНА ЕНТРОПІЯ
Для опису інформаційних властивостей безперервного джерела (сигналу) використовується поняття диференціальної ентропії. Для її отримання скористаємося формулою для ентропії дискретних повідомлень. Відповідно до графіка функції щільності ймовірності (рис. 6.) Можна записати p (x i) = ?. Де p (x i) - імовірність того, що x лежить в межах i-го кроку квантування.



f (x)
f (x i)
0 D x x i x
Рис. 6. Графік функції щільності ймовірності
При цьому, вираз для ентропії можна представити у вигляді
(9)
Переходимо до межі:
.
Повна ентропія джерела безперервних повідомлень складається з двох доданків, одне з яких визначається законом розподілу, а друге є постійною величиною, що визначає крок квантування, який впливає на точність вимірювань. Цей член вираження визначає постійну складову і виключається з розгляду.
Значення першого доданка визначається законом розподілу і характеризує диференціальну ентропію безперервного джерела (оскільки f (x) - щільність імовірності або диференціальний закон розподілу)
, (20)
Диференціальна ентропія - частина ентропії джерела безперервних повідомлень, яка залежить від щільності ймовірності сигналу x (t), що видається джерелом.
Різні класи фізичних явищ і процесів підпорядковуються різним законам розподілу. Безперервні сигнали повністю характеризуються законами розподілу (інтегральним або диференціальним). На будь-які реальні сигнали накладаються певні обмеження, наприклад: за середньої потужності (нагрівання апаратури); по миттєвої або пікової потужності (перевантаження).
Так як диференційна ентропія залежить від щільності ймовірності, визначимо, для якого закону вона максимальна. Т. е. при якому розподілі ймовірності, сигнал заданої потужності має максимальну ентропію. Для знаходження максимального значення ентропії необхідно скористатися варіаційної теоремою з використанням невизначених множників Лагранжа за умов нормування і незмінності середнього квадрата:
; .
При цьому,

Вирішивши рівняння, отримаємо симетричний нормальний закон розподілу
. (11)
Якщо середню потужність не обмежувати

то отримаємо рівномірний закон розподілу.
Визначимо диференціальну ентропію для нормального розподілу, тобто сигналу з обмеженою середньою потужністю. Отримане в результаті рішення варіаційної задачі нормальний розподіл є симетричним. Якщо в інтегралі для диференціальної ентропії зробити заміну x = ym x, то інтеграл не зміниться, а значить, ентропія не залежить від математичного очікування і дорівнює ентропії центрованої випадкової величини.
Визначимо максимальне значення для ентропії:

Диференціальна ентропія для нормального розподілу дорівнює:
(12)
Повна ентропія для нормального розподілу дорівнює:
. (13)
Якщо врахувати що h (x) - це математичне сподівання функції [- log 2 f (x)] від випадкової величини x з щільністю f (x), то можна записати.

Відповідно до центральною граничною теоремою нормальним законам розподілу підпорядковуються широкий клас, так званих гауссових випадкових процесів чи реальних сигналів.
Білий шум - перешкода з найбільш''шкідливими "властивостями, тобто передає максимальну кількість шкодять відомостей при заданій середньої потужності і дозволяє спростити розрахунки для найгіршого випадку.
Для того щоб сигнал з обмеженою пікової потужністю мав максимальну інформативність необхідно, щоб він мав рівномірний розподіл (рис. 9). Визначимо диференціальну ентропію для рівномірного розподілу, тобто сигналу з обмеженою пікової потужністю. Якщо P-пікова потужність, то - Максимальна амплітуда. Рівняння для диференціальної ентропії з урахуванням обмежень має вигляд:

Диференціальна ентропія для рівномірного розподілу дорівнює:
(14)
x (t) f (x)
c
A
0 2A t
-A-x-A 0 A x
Рис. 9. Сигнал з обмеженою пікової потужністю та його розподіл


Повна ентропія сигналу з рівномірним розподілом дорівнює:
, (15)
де m-число рівнів квантування.
Визначимо диференціальну ентропію для експоненціального розподілу. Цей розподіл широко використовується для визначення інтенсивності відмов у радіоелектронної апаратури

Повна ентропія для експоненціального розподілу дорівнює:
. (16)

Список Літератури
1. Коганов А. В. Векторні міри складності, ентропії, інформації. "Математика. Комп'ютер. Освіта ". Вип. 7, ч. 2, "Прогрес-Традиція", М., 2000, с. 540 - 546
2. Яглом А. М., Яглом І. М. Вірогідність та інформація. М., 1957.
3. Шеннон К. Роботи по теорії інформації та кібернетики. - М.: Изд. іноз. лит., 1963. - 830 с.
4. Волькенштейн М. В. Ентропія та інформація. - М.: Наука, 1986. - 192 с.
5. Цимбал В. П. Теорія інформації та кодування. - М.: Вища Школа, 1977. - 288 с.
6. Імовірнісні методи в обчислювальній техніці. / Под ред. О.М. Лебедєва, Є. А. Чернявського. -М.: Вищ. шк., 1986.
7. Сєдов Є.А. Взаємозв'язок інформації, енергії та фізичної ентропії в процесах управління та самоорганізації. Інформація та управління. М., Наука, 1986.
Додати в блог або на сайт

Цей текст може містити помилки.

Програмування, комп'ютери, інформатика і кібернетика | Контрольна робота
47.5кб. | скачати


Схожі роботи:
Ентропія
Ентропія та її зв`язок з тепловою енергією
Ентропія її види і основні приклади
Ентропія та її роль у побудові сучасної картини світу
Вірогідність ентропія і енергія Канонічний ансамбль Гіббса
Ентропія органічних речовин при нормальних і підвищених тисках
Енергія ентропія енергетика Ідеї І Пригожина та їх значення для сучас
Ентропія-інфляція індикатор стійкості розвитку соціальних систем Соціальні самоорганізуються
Ентропія складних повідомлень надмірність джерела Мета стиснення даних і типи систем стиснення
© Усі права захищені
написати до нас