Кількість інформації

[ виправити ] текст може містити помилки, будь ласка перевіряйте перш ніж використовувати.

скачати

Реферат
З інформатики
Кількість інформації

Зміст
Введення
1. Біт
2. Невизначеність, кількість інформації та ентропія
3. Формула Шеннона
4. Формула Хартлі
5. Кількість інформації, одержуваної в процесі повідомлення
Список використаної літератури

Введення
За визначенням А.Д. Урсула - «інформація є відбите різноманітність». Кількість інформації є кількісна міра різноманітності. Це може бути різноманітність сукупного вмісту пам'яті, розмаїтість сигналу, сприйнятого в процесі конкретного повідомлення, розмаїтість результатів конкретної ситуації; різноманітність елементів деякої системи ... - це оцінка різноманіття в самому широкому сенсі слова.
Будь-яке повідомлення між джерелом і приймачем інформації має певну тривалість в часі, але кількість інформації сприйнятої приймачем в результаті повідомлення, характеризується в підсумку зовсім не довжиною повідомлення, а різноманітністю сигналу породженого в приймачі цим повідомленням.
Пам'ять носія інформації має деяку фізичну ємність, в якій вона здатна накопичувати образи, і кількість накопиченої в пам'яті інформації, характеризується в результаті саме різноманітністю заповнення цієї ємності. Для об'єктів неживої природи це різноманітність їх історії, для живих організмів це різноманітність їх досвіду.

1.Біт

Різноманітність необхідно при передачі інформації. Не можна намалювати білим по білому, одного стану недостатньо. Якщо комірка пам'яті здатна перебувати лише в одному (вихідному) стані і не здатна змінювати свій стан під зовнішнім впливом, це означає, що вона не здатна сприймати і запам'ятовувати інформацію. Інформаційна ємність такого осередку дорівнює 0.
Мінімальна розмаїття забезпечується наявністю двох станів. Якщо комірка пам'яті здатна, в залежності від зовнішнього впливу, приймати одне з двох станів, які умовно позначаються звичайно як «0» і «1», вона має мінімальну інформаційною ємністю.
Інформаційна ємність однієї комірки пам'яті, здатної знаходитися в двох різних станах, прийнята за одиницю виміру кількості інформації - 1 біт.
1 біт (bit - скорочення від англ. Binary digit - двійкове число) - одиниця виміру інформаційної ємності і кількості інформації, а також і ще однієї величини - інформаційної ентропії, з якою ми познайомимося пізніше. Біт, одна з самих безумовних одиниць виміру. Якщо одиницю вимірювання довжини можна було покласти довільною: лікоть, фут, метр, то одиниця вимірювання інформації не могла бути по суті ніякий інший.
На фізичному рівні біт є осередком пам'яті, яка в кожний момент часу знаходиться в одному з двох станів: "0" або "1".
Якщо кожна точка деякого зображення може бути тільки або чорної, або білої, таке зображення називають двійкового, тому що кожна точка являє собою елемент пам'яті ємністю 1 біт. Лампочка, яка може або «горіти», або «не горіти» також символізує біт. Класичний приклад, який ілюструє 1 біт інформації - кількість інформації, що отримується в результаті підкидання монети - "орел" чи "решка".
Кількість інформації рівне 1 біту можна отримати у відповіді на питання типу «так» / «ні». Якщо спочатку варіантів відповідей було більше двох, кількість одержуваної в конкретному відповіді інформації буде більше, ніж 1 біт, якщо варіантів відповідей менше двох, тобто один, то це не питання, а твердження, отже, отримання інформації не вимагається, раз невизначеності немає.
Інформаційна ємність елементу пам'яті, здатної сприймати інформацію, не може бути менше 1 біта, але кількість одержуваної інформації може бути і менше, ніж 1 біт. Це відбувається тоді, коли варіанти відповідей «так» і «ні» не рівноймовірні. Неравновероятность в свою чергу є наслідком того, що деяка попередня (апріорна) інформація з цього питання вже є, отримана, припустимо, на підставі попереднього життєвого досвіду. Таким чином, у всіх міркуваннях попереднього абзацу слід враховувати одну дуже важливу обмовку: вони справедливі тільки для равновероятного випадку.
Кількість інформації ми будемо позначати символом I, ймовірність позначається символом P. Нагадаємо, що сумарна ймовірність повної групи подій дорівнює 1.

2.Неопределенность, кількість інформації та ентропія

Основоположник теорії інформації Клод Шеннон визначив інформацію, як зняту невизначеність. Точніше сказати, отримання інформації - необхідна умова для зняття невизначеності. Невизначеність виникає в ситуації вибору. Завдання, що вирішується в ході зняття невизначеності - зменшення кількості розглянутих варіантів (зменшення різноманітності), і в підсумку вибір одного відповідного ситуації варіанту з числа можливих. Зняття невизначеності дає можливість приймати обгрунтовані рішення і діяти. У цьому керуюча роль інформації.
Ситуація максимальної невизначеності припускає наявність декількох рівноймовірно альтернатив (варіантів), тобто жоден з варіантів не є кращим. Причому, чим більше рівноймовірно варіантів спостерігається, тим більше невизначеність, тим складніше зробити однозначний вибір і тим більше інформації потрібно для того мати. Для N варіантів ця ситуація описується наступним розподілом ймовірностей: {1 / N, 1 / N, ... 1 / N}.
Мінімальна невизначеність дорівнює 0, тобто ця ситуація повної визначеності, що означає що вибір зроблено, і вся необхідна інформація отримана. Розподіл ймовірностей для ситуації повної визначеності виглядає так: {1, 0, ... 0}.
Величина, що характеризує кількість невизначеності в теорії інформації позначається символом H і має назву ентропія, точніше інформаційна ентропія.
Ентропія (H) - міра невизначеності, виражена в бітах. Так само ентропію можна розглядати як міру рівномірності розподілу випадкової величини.

Рис. 1. Поведінка ентропії
для випадку двох альтернатив.
На малюнку 1. показано поведінку ентропії для випадку двох альтернатив, при зміні співвідношення їх ймовірностей (p, (1-p)).
Максимального значення ентропія досягає в даному випадку тоді, коли обидві ймовірності рівні між собою і дорівнюють ½, нульове значення ентропії відповідає випадків (p 0 = 0, p 1 = 1) і (p 0 = 1, p 1 = 0).
Без% 20імені-2
Рис. 2. Зв'язок між ентропією і кількістю інформації.
Кількість інформації I і ентропія H характеризують одну й ту ж ситуацію, але з якісно протилежних сторін. I - це кількість інформації, яка потрібна для зняття невизначеності H. За визначенням Леона Брілюена інформація є негативна ентропія (негентропії).
Коли невизначеність знята повністю, кількість отриманої інформації I одно спочатку існувала невизначеності H.
При частковому знятті невизначеності, отримана кількість інформації і залишилася незнятої невизначеність складають в сумі вихідну невизначеність. H t + I t = H.
З цієї причини, формули, які будуть представлені нижче для розрахунку ентропії H є і формулами для розрахунку кількості інформації I, тобто коли мова йде про повне зняття невизначеності, H в них може замінюватися на I.

3.Формула Шеннона

У загальному випадку, ентропія H і кількість одержуваної в результаті зняття невизначеності інформації I залежать від початкової кількості розглянутих варіантів N і апріорних ймовірностей реалізації кожного з них P: {p 0, p 1, ... p N -1}, тобто H = F (N, P). Розрахунок ентропії в цьому випадку проводиться за формулою Шеннона, запропонованої ним у 1948 році в статті "Математична теорія зв'язку".
В окремому випадку, коли всі варіанти різновірогідні, залишається залежність тільки від кількості розглянутих варіантів, тобто H = F (N). У цьому випадку формула Шеннона значно спрощується і збігається з формулою Хартлі, яка вперше була запропонована американським інженером Ральфом Хартлі в 1928 році, тобто на 20 років раніше.
Формула Шеннона має наступний вигляд:
(1)
Без% 20імені-8
Рис. 3. Знаходження логарифма b за основою a - це знаходження ступеня, в яку потрібно звести a, щоб отримати b.
Нагадаємо, що таке логарифм.
Логарифм за основою 2 називається двійковим:
log 2 (8) = 3 => 2 3 = 8
log 2 (10) = 3,32 => 2 3,32 = 10
Логарифм за основою 10-називається десятковим:
log 10 (100) = 2 => 10 2 = 100
Основні властивості логарифма:
1. log (1) = 0, тому будь-яке число в нульовий мірою дає 1;
2. log (a b) = b * log (a);
3. log (a * b) = log (a) + log (b);
4. log (a / b) = log (a)-log (b);
5. log (1 / b) = 0-log (b) =- log (b).
Знак мінус у формулі (1) не означає, що ентропія - негативна величина. Пояснюється це тим, що p i £ 1 по визначенню, а логарифм числа меншого одиниці - величина негативна. По властивості логарифма , Тому цю формулу можна записати і в другому варіанті, без мінуса перед знаком суми.
інтерпретується як приватна кількість інформації , Що отримується в разі реалізації i-ого варіанта. Ентропія у формулі Шеннона є середньою характеристикою - математичним очікуванням розподілу випадкової величини {I 0, I 1, ... I N -1}.
Приклад розрахунку ентропії за формулою Шеннона. Нехай в деякому установі склад працівників розподіляється так: ¾ - жінки, ¼ - чоловіки. Тоді невизначеність, наприклад, щодо того, кого ви зустрінете першим, зайшовши в установу, буде розрахована поруч дій, показаних у таблиці 1.
Таблиця 1.
p i
1 / p i
I i = log 2 (1 / p i), біт
p i * log 2 (1 / p i), біт
Ж
3 / 4
4 / 3
log 2 (4 / 3) = 0,42
3 / 4 * 0,42 = 0,31
М
1 / 4
4 / 1
log 2 (4) = 2
1 / 4 * 2 = 0,5
å
1
H = 0,81 біт
Якщо ж апріорі відомо, що чоловіків і жінок в установі порівну (два рівноймовірно варіанта), то при розрахунку за тією ж формулою ми повинні отримати невизначеність в 1 біт. Перевірка цього припущення проведена в таблиці 2.
Таблиця 2.
p i
1 / p i
I i = log 2 (1 / p i), біт
p i * log 2 (1 / p i), біт
Ж
1 / 2
2
log 2 (2) = 1
1 / 2 * 1 = 1 / 2
М
1 / 2
2
log 2 (2) = 1
1 / 2 * 1 = 1 / 2
å
1
H = 1 біт

4.Формула Хартлі

Формула Хартлі - приватний випадок формули Шеннона для рівноймовірно альтернатив.
Підставивши у формулу (1) замість p i його (в рівноймовірної разі не залежне від i) значення , Отримаємо:
,
таким чином, формула Хартлі виглядає дуже просто:
(2)
З неї явно випливає, що чим більше кількість альтернатив (N), тим більше невизначеність (H). Ці величини пов'язані у формулі (2) не лінійно, а через двійковий логарифм. Логарифмування по підставі 2 і приводить кількість варіантів до одиниць виміру інформації - бітам.
Ентропія буде цілим числом лише в тому випадку, якщо N є ступенем числа 2, тобто якщо N належить ряду: {1, 2, 4, 8, 16, 32, 64, 128, 256, 512, 1024, 2048 ...}

Рис. 3. Залежність ентропії від кількості рівноймовірно варіантів вибору (рівнозначних альтернатив).
Для вирішення обернених задач, коли відома невизначеність (H) або отриманий в результаті її зняття кількість інформації (I) і потрібно визначити яку кількість рівноймовірно альтернатив відповідає виникненню цієї невизначеності, використовують зворотний формулу Хартлі, яка виводиться у відповідності з визначенням логарифма і виглядає ще простіше :
(3)
Наприклад, якщо відомо, що в результаті визначення того, що нас цікавить Коля Іванов живе на другому поверсі, було отримано 3 біта інформації, то кількість поверхів у будинку можна визначити за формулою (3), як N = 2 3 = 8 поверхів.
Якщо ж питання стоїть так: "в будинку 8 поверхів, яка кількість інформації ми отримали, дізнавшись, що цікавить нас Коля Іванов живе на другому поверсі?", Треба скористатися формулою (2): I = log 2 (8) = 3 біти.

5.Колічество інформації, одержуваної в процесі повідомлення

До цих пір були наведені формули для розрахунку ентропії (невизначеності) H, вказуючи, що H в них можна замінювати на I, тому що кількість інформації, яку одержують при повному знятті невизначеності деякої ситуації, кількісно одно початковій ентропії цієї ситуації.
Але невизначеність може бути знята тільки частково, тому кількість інформації I, одержуваної з деякого повідомлення, обчислюється як зменшення ентропії, що відбулося в результаті отримання даного повідомлення.
(4)
Для равновероятного випадку, використовуючи для розрахунку ентропії формулу Хартлі, отримаємо:
(5)
Друге рівність виводиться на підставі властивостей логарифма. Таким чином, в рівноймовірної випадку I залежить від того, у скільки разів змінилася кількість розглянутих варіантів вибору (що розглядається різноманітність).
Виходячи з (5) можна вивести наступне:
Якщо , То - Повне зняття невизначеності, кількість отриманої в повідомленні інформації дорівнює невизначеності, яка існувала до отримання повідомлення.
Якщо , То - Невизначеності не змінилася, отже, інформації отримано не було.
Якщо , То => , Якщо , => . Тобто кількість отриманої інформації буде позитивною величиною, якщо в результаті отримання повідомлення кількість розглянутих альтернатив зменшилася, і негативною, якщо збільшилася.
Якщо кількість розглянутих альтернатив у результаті отримання повідомлення зменшилася вдвічі, тобто , То I = log 2 (2) = 1 біт. Іншими словами, отримання 1 біта інформації виключає з розгляду половину рівнозначних варіантів.
Розглянемо як приклад досвід з колодою з 36 карт.
Без% 20імені-3
Рис. 4. Ілюстрація до досвіду з колодою з 36-ти карт.
Нехай хтось виймає одну карту з колоди. Нас цікавить, яку саме з 36 карт він вийняв. Початкова невизначеність, що розраховується за формулою (2), складає H = log 2 (36) @ 5,17 біт. Витягнув картку повідомляє нам частину інформації. Використовуючи формулу (5), визначимо, яку кількість інформації ми отримуємо з цих повідомлень:
Варіант A. "Це карта червоної масті".
I = log 2 (36/18) = log 2 (2) = 1 біт (червоних карт в колоді половина, невизначеність зменшилася в 2 рази).
Варіант B. "Це карта пікової масті".
I = log 2 (36 / 9) = log 2 (4) = 2 біти (пікові карти становлять чверть колоди, невизначеність зменшилася в 4 рази).
Варіант С. "Це одна з старших карт: валет, дама, король або туз".
I = log 2 (36)-log 2 (16) = 5,17-4 = 1,17 біта (невизначеність зменшилася більше ніж у два рази, тому отримана кількість інформації більше одного біта).
Варіант D. "Це одна карта з колоди".
I = log 2 (36/36) = log 2 (1) = 0 біт (невизначеність не зменшилася - повідомлення не інформативно).
Варіант D. "Це дама пік".
I = log 2 (36 / 1) = log 2 (36) = 5,17 біт (невизначеність повністю знята).

Список використаної літератури
1. Зір. http://schools.keldysh.ru/school1413/bio/novok/zrenie.htm/.
2. Ільїна О. В. Кодування інформації в курсі інформатики середньої школи. http://www.iro.yar.ru:8101/resource/distant/informatics/s/ilina/Chapter3.htm/.
3. Інтернет-школа. Просвещеніе.ru http://www.internet-school.ru/Enc.aspx?folder=265&item=3693/.
4. Інформатика, математика лекції підручники курсові студенту і школяру. http://256bit.ru/informat/eu_Hardware/.
5. Петрович М. Т. Люди і біти. Інформаційний вибух: що він несе. М.: Знання, 1986.
Додати в блог або на сайт

Цей текст може містити помилки.

Програмування, комп'ютери, інформатика і кібернетика | Реферат
48.7кб. | скачати


Схожі роботи:
Кількість населення Землі його природний та механічний рух
Складання документа про кількість населення 10 найбільших міст РФ
Плавальний міхур кількість крові щитовидна залоза у риб
Справжнє кількість грошей або проблема ідентифікації їх кількості в обігу
Кількість проданих контрафактних товарів Середній термін розгляду справи
Деревина будова властивості продукція переробки експертиза кількість і якість
Модель радіотехнічної передачі інформації Джерело інформації
Властивості інформації Одиниці виміру кількості інформації
Спілкування як передача інформації Види інформації
© Усі права захищені
написати до нас