Білоруський державний університет інформатики і радіоелектроніки
кафедра РЕЗ
реферат на тему:
"Квантування повідомлень. Похибки квантування. Ентропія джерела повідомлень"
МІНСЬК, 2009
Квантування повідомлень. Похибки квантування
Отже, показано, що передачу практично будь-яких повідомлень λ (t) ({λ (x, y)}) можна звести до передачі їх відліків, або чисел λ i = λ (i D t), наступних один за одним з інтервалом дискретності D t £ 1/2Fm (Δ x ≤ 1 / 2 fx, Δ y ≤ 1 / 2 fy). Тим самим безперервне (нескінченне) безліч можливих значень повідомлення λ (t) замінюється кінцевим числом його дискретних значень {λ (i D t)}. Проте самі ці числа мають безперервну шкалу рівнів (значень), тобто належать знову ж континуальна безліч. Для абсолютно точного уявлення таких чисел, наприклад, у десятковій (або двійковій) формі, необхідно теоретично нескінченне число розрядів. Разом з тим на практиці немає необхідності в абсолютно точному поданні значень λ i, як і будь-яких чисел взагалі.
По-перше, самі джерела повідомлень мають обмеженим динамічним діапазоном і виробляють вихідні повідомлення з певним рівнем спотворень і помилок. Цей рівень може бути більшим або меншим, але абсолютної точності відтворення досягти неможливо.
По-друге, передача повідомлень по каналах зв'язку завжди проводиться у присутності різного роду перешкод. Тому прийняте (відтворене) повідомлення (оцінка повідомлення l * (t) або L *) завжди певною мірою відрізняється від переданого, тобто на практиці неможлива абсолютно точна передача повідомлень за наявності перешкод в каналі зв'язку.
Нарешті, повідомлення передаються для їх сприйняття і використання одержувачем. Одержувачі ж інформації - органи чуття людини, виконавчі механізми і т.д. - Також мають кінцевої роздільною здатністю, тобто не помічають незначну різницю між абсолютно точним і наближеним значеннями відтвореного повідомлення. Поріг чутливості до спотворень також може бути різним, але він завжди є.
З урахуванням цих зауважень процедуру дискретизації повідомлень можна продовжити, а саме піддати відліки λ i квантованию.
Процес квантування полягає в заміні безперервної безлічі значень відліків l i Î (l min, l max) дискретною безліччю {l (1 ),..., l (m)} з алфавіту A {λ i}. Тим самим точні значення чисел l i замінюються їх приблизними (округленими до найближчого дозволеного рівня) значеннями. Інтервал між сусідніми дозволеними рівнями l i, або рівнями квантування, D = l (i +1) - l (i) називається кроком квантування.
Розрізняють рівномірне і нерівномірне квантування. У більшості випадків застосовується і далі докладно розглядається рівномірне квантування (рис.1), при якому крок квантування постійний: D = λ i - λ i -1 = = const, а проте іноді певну перевагу дає нерівномірне квантування, при якому крок квантування D i різний для різних λ i (рис.2).
Рис. 1. Рис. 2.
Квантування призводить до спотворення повідомлень. Якщо квантованное повідомлення, отримане в результаті квантування відліку l i = l (iΔ t), позначити як λ iq, то
(1)
де x i - різниця між квантованим повідомленням (найближчим дозволеним рівнем) λ iq та істинним значенням елементарного повідомлення l i, звана помилкою квантування, або шумом квантування. Шум квантування надає на процес передачі інформації по суті такий же вплив, як і перешкоди в каналі зв'язку. Перешкоди, так само як і квантування, призводять до того, що оцінки λ * i, одержувані на приймальній стороні системи зв'язку, відрізняються на деяку величину від істинного значення l i.
Оскільки квантування повідомлень призводить до появи помилок і втрати деякої частини інформації, можна визначити ціну таких втрат d (l, λ q) і середню величину помилки, зумовленої квантуванням:
(2)
Найчастіше в якості функції втрат (ціни втрат) використовується квадратична функція виду
(3)
У цьому випадку мірою помилок квантування служить дисперсія цих помилок. Для рівномірного N-рівневого квантування з кроком D дисперсія помилок квантування визначається наступним чином:
. (4)
Абсолютне значення помилки квантування не перевершує половини кроку квантування D / 2, і тоді п ри досить великому числі рівнів квантування N і малої величиною D щільність розподілу ймовірностей помилок квантування f (x i) можна вважати рівномірної на інтервалі + D / 2 ... - D / 2:
(5)
У результаті величина помилки квантування D (q) = σq 2 визначиться співвідношенням
(6)
і відповідним вибором кроку квантування D може бути зроблена як завгодно малої або зведена до будь-який наперед заданій величині.
Щодо необхідної точності передачі відліків повідомлень можна висловити ті ж міркування, що і для помилок тимчасової дискретизації: шуми квантування або спотворення, обумовлені квантуванням, не мають істотного значення, якщо ці спотворення менше помилок, обумовлених перешкодами і допустимих технічними умовами.
Так, наприклад, при передачі мови і музики спотворення практично не помітні, якщо всі відліки випадковим чином змінити на 0,1 ... 1%, при передачі зображень - на 1% і т.д. Навіть професійний експерт не може помітити спотворень у музичному творі, якщо квантування здійснюється з точністю краще 0,001% (число рівнів квантування N> 100000, точність представлення відліків - 16 ... 17 двійкових розрядів). Число рівнів квантування повідомлень в телеметричних системах залежить від необхідної точності відтворення інформації, а також від точності датчиків, які здійснюють збір цієї інформації. При цьому перевищення при квантуванні досяжною датчиками або необхідної точності недоцільно через збільшення складності апаратури і витрат на передачу. Більш того, при передачі по каналу зв'язку з перешкодами можуть виникати ситуації, коли якість відтворення оцінки повідомлення λ * i при більш грубому його квантуванні на передавальній стороні виявляється значно кращим, ніж для точного квантування. На цьому досить неочевидним, але що витікає із загальної теорії передачі інформації явище в подальшому більш детально зупинимося.
Таким чином, показано, що передачу практично будь-яких повідомлень λ (t) ({λ (x, y)}) з будь-якою наперед заданою точністю можна звести до передачі цілих чисел λ iq = λ q (i D t), наступних один за одним з інтервалом дискретності D t £ 1/2Fm (Δ x ≤ 1 / 2 fx max, Δ y ≤ 1 / 2 fy max). Тим самим безперервне (нескінченне) безліч можливих значень повідомлення λ (t) ({λ (x, y)}) замінюється кінцевим множиною цілих чисел з алфавіту A {λ i q}, (i = 1,2 ... N). Іншими словами, тепер можна працювати з сигналами, як з числами, а це дозволяє застосовувати для їх обробки і аналізу цифрові алгоритми будь-якого ступеня складності, практично не реалізовуються в аналоговій формі, використовувати в системах передачі інформації цифрові методи і сучасні цифрові інтегральні технології тощо .
Отже, ми з'ясували, що в радіотехнічних системах носіями чи переносниками інформації є електричні сигнали, що формуються джерелами цієї інформації. Навіть у тих випадках, коли первинна інформація носить неелектричних природу (мова, музика, зображення, тексти, пакети даних і т.д.), вона в кінцевому підсумку перетворюється в електричні сигнали і далі зберігається або передається по каналах зв'язку. Ці сигнали зазвичай носять безперервний характер, тобто визначені для будь-якого моменту часу або в нескінченному числі точок свого існування. Набагато зручніше мати справу з даними, що мають кінцевий розмір, - наприклад, з масивами чисел кінцевого розміру і обмеженої розрядності. Розглянута вище теорема дискретизації дає таку можливість.
Кількість інформації, ентропія джерела повідомлень
Для порівняння між собою різних джерел повідомлень необхідно ввести деяку кількісну міру, яка дала б можливість об'єктивно оцінити інформацію, що міститься в повідомленні. Такий захід вперше була введена K. Шенноном у 1948 р., а потім більш строго визначена А.Я. Хинчина. Розглянемо основи інформаційного підходу Шеннона.
Будь-яка інформація виходить споживачем після отримання повідомлення, тобто в результаті досвіду. Повідомлення, що отримується на приймальній стороні, несе корисну інформацію лише в тому випадку, якщо є невизначеність щодо стану джерела. Якщо досвід може закінчитися тільки одним результатом і спостерігач наперед знає результат досвіду, то за його результату він не отримує жодної інформації. Наприклад, якщо повідомлять, що сонце сходить на сході, то ніякої інформації це повідомлення не принесе, оскільки всі знають, що це вірно. У такій події, як щоденний схід сонця на сході, немає нічого невизначеного, ймовірність цієї події дорівнює одиниці і кількість інформації, що приносилося повідомленням про таку подію, дорівнює нулю. Інформація з'явиться лише тоді, коли джерело буде мати принаймні більше одного можливого стану.
Розглянемо джерело, що видає послідовність незалежних дискретних повідомлень {l i}, кожне з яких випадковим чином вибирають з алфавіту повідомлення A (l i) = l 1, l 2, l 3, ... l K, де K - розмір алфавіту джерела. Таке джерело будемо називати джерелом без пам'яті з кінцевим дискретним алфавітом. Повідомлення, що виробляються таким джерелом, називаються простими повідомленнями.
У кожному елементарному повідомленні l i для його одержувача міститься деяка інформація. Визначимо кількісну міру цієї інформації і з'ясуємо, від чого вона залежить.
До того, як зв'язок відбулася, у одержувача завжди є більша або менша невизначеність щодо того, яке повідомлення l i з числа можливих буде передано.
Цілком очевидно, що ступінь цієї невизначеності, чи неочікуваність передачі l i, залежить від імовірності передачі того чи іншого повідомлення. Наприклад, якщо ймовірність передачі якого-небудь повідомлення l i дуже висока, то ще до передачі ми майже напевно знаємо, яке повідомлення буде передано, і його прийом не принесе нам майже ніякої нової інформації.
Таким чином, очевидно, що кількість інформації, що міститься в елементарному повідомленні l i, є деякою функцією від ймовірності передачі цього повідомлення Р (l i):
J (l i) = j {P (l i)}. (7)
Визначимо вид цієї функції j. Для цього вимагатимемо, щоб міра кількості інформації J (l i) задовольняла двом інтуїтивним властивостями:
1. Якщо вибір повідомлення l i заздалегідь визначений (Р (l i) = 1 - невизначеності немає), то кількість інформації в цьому повідомленні дорівнює нулю: J (l i) = j {1} = 0.
2. Якщо джерело послідовно вибирає повідомлення l i і l j і ймовірність такого вибору Р (l i, l j) є спільна ймовірність подій l i і l j, то кількість інформації в цих двох елементарних повідомленнях дорівнюватиме сумі кількостей інформації в кожному з них.
Можливість спільного випадіння подій l i і l j Р (l i, l j), як відомо, визначається за формулою повної ймовірності
Р (l i, l j) = Р (l i) × Р (l j / l i) = P × Q. (8)
Тоді, відповідно до вимоги (2), має виконуватися умова
j {P × Q} = j (P) + j (Q). (9)
Неважко здогадатися, що функцією, що задовольняє цим двом пропонованим до неї умовам, є функція виду
J (l i) = a log P (l i), (10)
при цьому як коефіцієнт a, так і підстава логарифма можуть бути обрані довільно. Однак для зручності (щоб кількісна міра інформації була позитивною) приймають a = - 1. Підстава логарифма зазвичай вибирають рівним двом, і тоді
J (l i) = - log 2 P (l i). (11)
Визначена таким чином одиниця виміру інформації називається двійковій одиницею, або бітом інформації. Наприклад, якщо будь-яка з елементарних повідомлень l i може бути вибрано з алфавіту і передано з імовірністю P (l i) = 1 / 8, то говорять, що в ньому міститься log 2 (1 / 8) = 3 біти інформації.
Іноді в якості підстави логарифма вибирають e, тоді інформація вимірюється в натуральних одиницях, або інтернатах.
Кількість інформації, що міститься в одному елементарному повідомленні l i, ще ніяк не характеризує джерело. Одні елементарні повідомлення можуть нести багато інформації, але передаватися дуже рідко, інші - передаватися частіше, але нести менше інформації. Тому джерело може бути охарактеризований середньою кількістю інформації, що випадав на одне елементарне повідомлення, що носить назву "ентропія джерела" і визначеним наступним чином:
, I = 1, K. (12)
Ентропія, як кількісна міра інформативності джерела, має такі властивості:
1. Ентропія є величина речова, обмежена і невід'ємна. Ці її властивості випливають з виду вирази для Н (l), а також з урахуванням того, що 0 <P (l i) <1.
2. Ентропія детермінованих повідомлень дорівнює нулю, тобто Н (l) = 0, якщо хоча б одне з повідомлень має ймовірність, рівну одиниці.
3. Ентропія максимальна, якщо повідомлення l i різновірогідні, тобто
P (l 1) = P (l 2) =... ... . P (l k) = 1 / K, і тоді
(13)
Як видно з останнього виразу, в разі рівноймовірно повідомлень ентропія зростає зі збільшенням обсягу алфавіту джерела (зростанням кількості повідомлень). При неравновероятних елементарних повідомленнях l i ентропія, відповідно, зменшується.
4. Ентропія двійкового джерела (K = 2) може змінюватися від нуля до одиниці. Дійсно, ентропія системи з двох повідомлень l 1 і l 2
(14)
З останнього виразу видно, що ентропія дорівнює нулю при P (l 1) = 0; P (l 2) = 1, або P (l 1) = 1; P (l 2) = 0; при цьому максимум ентропії буде мати місце , коли P (l 1) = P (l 2) = 1 / 2 і її максимальне значення буде дорівнює 1 біт.
ЛІТЕРАТУРА
Лідовскій В.І. Теорія інформації. - М., "Вища школа", 2002р. - 120с.
Метрологія та радіовимірювань в телекомунікаційних системах. Підручник для ВУЗів. / В.І. Нефедов, В.І. Халкин, Є.В. Федоров та ін - М.: Вища школа, 2001 р. - 383с.
Цапенко М.П. Вимірювальні інформаційні системи. -. - М.: Енергоатом издат, 2005. - 440С.
Зюко А.Г., Кловський Д.Д., Назаров М.В., Фінк Л.М. Теорія передачі сигналів. М: Радіо і зв'язок, 2001 р. -368 с.
Б. Скляр. Цифрова зв'язок. Теоретичні основи та практичне застосування. Ізд.2-е, испр.: Пер. з англ. - М.: Видавничий будинок "Вільямс", 2003 р. - 1104 с.