Ентропія

ЗМІСТ
Введення
§ 1. Поняття ентропії. Ентропія як міра ступеня невизначеності
§ 2. Поняття про інформацію. Вимірювання інформації
§ 3. Теорема Шеннона про кодування при наявності перешкод
§ 4. Приклад використання ентропії в прогнозуванні та її значення для прогнозування. Застосування до ризиків
Висновок
Список використаної літератури

Введення
Предметом роботи є ентропія та інформація. Метою даної роботи є вивчення ентропії, інформації та застосування даних понять до ризиків. Поставлена ​​мета ставить вирішення наступних завдань: розгляду поняття ентропії, статистичного сенсу цього поняття, ентропії як міри ступеня невизначеності, поняття про інформацію, теореми Шеннона про кодування при наявності перешкод, використання ентропії в прогнозуванні та застосування ентропії до ризиків.
Дана тема актуальна, тому що важко знайти поняття більш загальні для всіх наук (не тільки природних) і, разом з тим, іноді носять відтінок загадковості, ніж ентропія та інформація. Почасти це пов'язано з самими назвами. Якщо б не звучну назву "ентропія" залишилася б з моменту першого народження всього лише "інтегралом Клаузіуса", навряд чи вона б не народжувалася знову й знову в різних областях науки під одним ім'ям. Крім того, її першовідкривач Клаузіузус, першим же поклав початок застосування введеного ним для, здавалося б вузькоспеціальних термодинамічних цілей поняття до глобальних космологічним проблем (теплова смерть Всесвіту). З тих пір ентропія багаторазово фігурувала в останніх назавжди знаменитими суперечках. В даний час універсальний характер цього поняття загальновизнаний і вона плідно використовується в багатьох областях.
Термін "інформація" чудовий тим, що, існуючого з давніх пір побутовому поняттю, К. Шенноном було надано математично точний сенс. Невизначено-побутовий зміст цього терміну вже наукового. Це призводило і призводить до багатьох непорозумінь / Дану тему опишемо за допомогою наступних методів: синтезу, аналізу, індукції, дедукції, порівняння та розрахункового методу.
Робота викладена на 26 сторінок і складається з чотирьох параграфів. У роботі 1 таблиця і 7 прикладів.

§ 1. Поняття ентропії. Статистичний сенс поняття ентропії. Ентропія як міра ступеня невизначеності
Ентропія (від грец. Entropia - поворот, перетворення) - міра невпорядкованості великих систем. Вперше поняття "ентропія" введено в XIX ст. в результаті аналізу роботи теплових машин, де ентропія характеризує ту частину енергії, яка розсіюється в просторі, не здійснюючи корисної роботи (звідси визначення: ентропія - міра знецінення енергії). Потім було встановлено, що ентропія характеризує імовірність певного стану будь-якої фізичної системи серед безлічі можливих її станів. У закритих фізичних системах усі самовільні процеси спрямовані до досягнення більш ймовірних станів, тобто до максимуму ентропії. У рівноважному стані, коли цей максимум досягається, ніякі спрямовані процеси неможливі. Звідси виникла гіпотеза про теплової смерті Всесвіту. Однак поширення на весь Всесвіт законів, встановлених для закритих систем, не має переконливих наукових підстав. У XX ст. поняття "ентропія" виявилося плідним для дослідження біосистем, а також процесів передачі та обробки інформації. Еволюція в цілому і розвиток кожного організму відбувається завдяки тому, що біосистеми, будучи відкритими, живляться енергією з навколишнього світу. Але при цьому біопроцеси протікають таким чином, що пов'язані з ними "виробництво ентропії" мінімально. Це служить важливим керівним принципом і при розробці сучасних технологічних процесів, при проектуванні технічних систем. Кількісна міра інформації формально збігається з "негативно певної" ентропією. Але глибоке розуміння відповідності ентропії фізичної та інформаційної залишається однією з кардинальних недостатньо досліджених проблем сучасної науки. Її рішення послужить одним з важливих чинників становлення нового науково-технічного мислення.
Ентропія широко застосовується і в інших областях науки: в статистичній фізиці як міра ймовірності здійснення будь-якого макроскопічного стану; в теорії інформації як міра невизначеності будь-якого досвіду (випробування), який може мати різні результати. Ці трактування мають глибоку внутрішню зв'язок. Наприклад, на основі уявлень про інформаційної ентропії можна вивести всі найважливіші положення статистичної фізики.
Теорія інформації виникла для опису передачі і прийому повідомлень в процесі діяльності людини. У всіх її завданнях присутні поняття передавача і приймача, сигналу-повідомлення, подій та їх ймовірностей. Існування цілі передачі інформації в теорії інформації виражається тим, що вводиться поняття відомого заданого події. Для нього може бути визначена ймовірність р ₀ страхування до прийому повідомлення і р ₁ після прийому.
У силу визначення інформації як усуненої невизначеності в досягненні мети сувора (тобто математична) формалізація поняття про інформацію вимагає висловити математичним співвідношенням, що є невизначеність у досягненні мети.
Існування невизначеності пов'язане з участю ймовірностей у здійсненні подій. Усунення невизначеності є збільшення ймовірності настання того, що задано як мета. Тому ймовірності повинні брати участь у математичній формулюванні величини усуненої невизначеності.
Перша вдала спроба реалізувати визначення інформації на такій основі здійснена в 1928 р . Л. Хартлі. Нехай можливо в даних умовах n варіантів певного результату. Метою є один з них. Хартлі запропонував характеризувати невизначеність логарифмом числа n. Тобто log n є кількісною мірою невизначеності. Вибір підстави логарифма пов'язаний з поняттям про алфавітах для опису інформації. Цей вибір істотний для економічності кодування в технічних пристроях або живих системах (скорочення потоків імпульсів або аналогових сигналів), але не змінює самого кількості інформації як усуненої невизначеності за рахунок того, що перед логарифмом вводиться безрозмірний множник, що виражається модулем переходу між основами логарифмів. Від нього залежать назви одиниць інформації.
При математичному описі невизначеності (наприклад способом Хартлі) у разі рівноймовірно результатів можна перейти від їх числа n до зворотного величиною - ймовірності р одного з них. У термінах зв'язку конкретно говорять про ймовірність надісланого повідомлення р ₀ у приймача до прийому повідомлення. Усунення невизначеності виражається тим, що ймовірність надісланого повідомлення у приймача після прийому сигналу зростає і стає р _1. Тоді кількісна міра s отриманої інформації (усуненої невизначеності) виражається логарифмом відносини ймовірностей:

Воно рівноправно по відношенню до будь-якого окремого повідомленням і має різну величину залежно від величин р ₀ і р ₁ для нього. В окремому випадку, коли при передачі повністю відсутня шуми і збої, спотворюють сигнал, ймовірність р ₀ дорівнює одиниці.
Недолік цього визначення в тому, що воно справедливо в наближенні равновероятности всіх результатів. Це виконується далеко не завжди. У межі в цьому визначенні неймовірного результату прирівнюється неминучий. У 1948 р . це виправив К. Шеннон, який визначив як запобіжний невизначеності вираз:

де

є ймовірності окремих випадків. Він запропонував називати цю величину "ентропією", не пояснюючи зв'язків і відмінностей цього терміна з загальновідомий ентропією у фізиці. Знак мінус в попередній формулі відображає той факт, що ймовірності завжди менше одиниці, а ентропія знакопостоянная функція, для якої звично заданий позитивний знак. Визначення Шеннона скорочено завісивают у вигляді:
,
маючи на увазі як очевидне, що ознаки (аргументи), по відношенню до яких визначено події та їх ймовірності, можуть бути істотно різними, а в ця формула (підсумовування в ній) справедлива тільки для однорідних ознак.

§ 2. Поняття про інформацію. Вимірювання інформації
Поняття інформації (informatio - роз'яснення, інформування, виклад) є одним з основних, ключових понять не тільки в інформатиці (у информологии - області знань, що вивчає прояв інформації, її представлення, вимірювання і т.д.), але і в математиці, в фізики та ін Поняття "інформація" - погано формалізуються і структуровані поняття. У силу його загальності, об'ємності, розпливчастості воно часто розуміється неточно і неповно не тільки вимагаються. Як правило, це поняття в курсі інформатики не визначається, приймається як початкове базове поняття, невизначуваним терм.
Інформація трактується по різному, наприклад, як:
• будь-яка сутність, яка викликає зміни в деякій інформаційно-логічної (инфологической - складається з даних, знань, абстракцій і т.д.) моделі системи (математика, системний аналіз);
• повідомлення, отримані системою від зовнішнього світу в процесі адаптивного управління, пристосування (теорія управління, кібернетика);
• заперечення ентропії, відображення заходи хаосу в системі (термодинаміка);
• зв'язки, які усувають непевність в системі (теорія інформації);
• ймовірність вибору в системі (теорія ймовірностей);
• відображення різноманіття в системі (фізіологія, біокібернетика);
• відображення матерії, атрибут свідомості, "інтелекту" системи (філософія).
Але існує більш повне поняття. Інформація - це деяка послідовність (в наявності впорядкованість) відомостей, знань, які актуалізуються (приходило, передавання, перетворені, стисливі чи реєстрованих) за допомогою деяких знаків (символьного, образного, жестової, звукового, сенсомоторного типу). Це приріст, розвиток, актуалізація знань, що виникає в процесі целеполагающей інтелектуальної діяльності людини. Жодна інформація, ніяке знання не з'являється відразу - цьому передує етап накопичення, осмислення, систематизації досвідчених даних, поглядів. Знання - продукт такого процесу. Мислення - необхідний атрибут такого процесу.
Інформація може існувати в пасивній (не актуалізованою) і активної (актуалізованої) формі.
Приклад. Інформація актуалізується повідомленнями, при цьому форми облачення інформації в повідомлення різні, наприклад, для живих істот - сигнали, жести, для технічних пристроїв - сигнали. Інформація передається від однієї людини іншій, може передаватися символами (лист), жестами (сигнальник на бойовому кораблі), звуками (диктор), геометричними фігурами (кресляр), художніми образами (балерина). Інформація передається тваринами може бути передана звуками (гавкіт, виття, писк), ситуаційним поведінкою (образами). Інформація в технічних пристроях, автоматах може бути передана електричними, магнітними, світловими імпульсами, як це відбувається в ЕОМ.
Інформація в філософському аспекті буває, в основному: світоглядна; естетична; релігійна; наукова; побутова; технічна, економічна, технологічна.
Все це (з людиною) становить ноосферу суспільства - більш високий стан біосфери, який виник у результаті еволюції, структурування, упорядкування та гармонізації зв'язків у природі і суспільстві під впливом целеполагающей діяльності людства. Це поняття введено вперше В. І. Вернадським у ролі відображення еволюції суспільства і природи тобто системи, в рамках якої потенційно може бути реалізовано гармонійне, сталий розвиток (еволюція) систем "Громада" та "Природа", а також поступове злиття, інтеграція і гармонізація наук про природу, пізнанні і про суспільство. Без цього неможлива побудова інформаційного суспільства.
Інформація може виявитися і шкідливою, що впливає негативно на свідомість, наприклад, виховує сприйняття світу від байдужого або ж некритичного - до негативного, "розлюченого", неадекватного. Інформаційний потік - досить сильний подразник.
Приклад. Негативною інформацією - подразником може бути інформація про крах комерційного банку, про різке зростання (спад) валютного курсу, про зміну податкової політики та ін
Інформація не існує без інших типів ресурсів - енергії, речовини, організації, як і вони не можуть існувати без інформації. Будь-які взаємодії систем (підсистем) - взаємодії завжди матеріальноенерго-інформаційні. Виявлення (структурування, упорядкування, встановлення відносин), формалізація (опис формальними засобами, мовами), вивчення (розробка моделей, методів, алгоритмів), застосування (розробка і актуалізація технологій) цих взаємодій і складає основне завдання інформатики - як науки, як людської діяльності .
Якщо відволіктися від конкретного смислового змісту інформації і розглядати повідомлення інформації як послідовності знаків, сигналів, то їх можна представляти бітами, а вимірювати в байтах, кілобайтах, мегабайтах, гігабайтах, терабайт і петабайтам.
Інформація може розумітися і інтерпретуватися по-різному. Внаслідок цього наявні різні підходи до визначення методів виміру інформації, міри кількості інформації. Розділ інформатики (теорії інформації) вивчає методи вимірювання інформації називається інформметріей.
Кількість інформації - числова величина, адекватно характеризує актуалізуються інформацію за різноманітністю, складності, структурованості, визначеності, вибору (ймовірності) станів відображається системи.
Якщо розглядається система, яка може приймати одне з n можливих станів, то актуальна задача оцінки такого вибору, результату. Такою оцінкою може стати міра інформації (або події). Міра - це деяка безперервна дійсна неотрицательная функція, визначена на множині подій і є адитивною тобто міра кінцевого поєднання подій (множин) дорівнює сумі заходів кожної події.
1. Міра Р. Хартлі. Нехай є N станів системи S або N дослідів з різними, рівноможливими послідовними станами системи. Якщо кожний стан системи закодувати, наприклад, двійковими кодами певної довжини d, то цю довжину необхідно вибрати так, щоб число всіх різних комбінацій було б не менше, ніж N. Найменше число, при якому це можливо чи захід розмаїття безлічі станів системи задається формулою Р. Хартлі: H = k log _а N, де k - коефіцієнт пропорційності (масштабування, в залежності від обраної одиниці виміру заходи), а - основа системи заходів.
Якщо вимірювання ведеться в експоненційної системі, то k = 1, H = lnN (нат); якщо вимір - у двійковій системі, то k = 1/ln2, H = log ₂ N (біт); якщо вимір - у десятковій системі, k = 1/ln10, H = lgN (дит).
Приклад. Щоб дізнатися положення точки в системі з двох клітин тобто отримати деяку інформацію, необхідно поставити 1 питання ("Ліва або права клітина?"). Дізнавшись положення точки, ми збільшуємо сумарну інформацію про систему на 1 біт (I = log _{2 2).} Для системи з чотирьох клітин необхідно задати 2 аналогічних питання, а інформація дорівнює 2 бітам (I = log ₂ 4). Якщо система має n різних станів, то максимальна кількість інформації дорівнює I = log ₂ n.
За Хартлі, для того, щоб міра інформації мала практичну цінність - вона повинна бути така, щоб відбивала кількість інформації пропорційно числу виборів.
Приклад. Є 192 монети з яких одна фальшива. Визначимо скільки зважувань потрібно зробити, щоб визначити її. Якщо покласти на терези рівну кількість монет, то отримаємо 2 можливості (ми зараз відволікаємося від того, що у разі фальшивої монети таких станів буде два - стану незалежні): а) ліва чашка нижче; б) права чашка нижче. Таким чином, кожне зважування дає кількість інформації I = log _{2 лютого} = 1 і, отже, для визначення фальшивої монети потрібно зробити не менше k зважувань, де k задовольняє умові log ₂ 2k ³ log ₂ 192. Звідси, k = 7. Отже, нам необхідно зробити не менше 7 зважувань (досить семи).
Формула Хартлі відвернута від семантичних і якісних, індивідуальних властивостей даної системи (якості інформації, що міститься в системі, у проявах системи за допомогою розглянутих N станів системи). Це основна позитивна сторона цієї формули. Але є й основна негативна сторона: формула не враховує розрізнення і різність розглянутих N станів системи.

Зменшення (збільшення) Н може свідчити про зменшення (збільшення) різноманітності станів N системи.
Зворотне, як це випливає з формули Хартлі (підстава логарифма береться більше 1), - також вірно.
2.Мера К. Шеннона. Формула Шеннона дає оцінку інформації незалежно, абстрактно від її сенсу:
n I = - å p _i log ₂ pi, i = 1
де n - число станів системи; р _i - ймовірність (або відносна частота) переходу системи в i-е стан, причому сума всіх p _i дорівнює 1.
Якщо всі стани різновірогідні (тобто р _i = 1 / n), то I = log ₂ n.
К. Шенноном доведена теорема про одиничність міри кількості інформації. Для випадку рівномірного закону розподілу щільності ймовірності міра Шеннона збігається з мірою Хартлі. Справедливість і достатня універсальність формул Хартлі та Шеннона підтверджується і даними нейропсихології.
Приклад. Час t реакції випробуваного на вибір предмета з наявних N предметів лінійно залежить від log ₂ N: t = 200 +180 log ₂ N (мс). За аналогічним законом змінюється і час передачі інформації в живому організмі. Зокрема, один з дослідів з визначення психофізіологічних реакцій людини полягав у тому, що перед випробуваним велику кількість разів запалювалася одна з n лампочок, яку він повинен вказати. Виявилося, що середній час, необхідне для правильної відповіді випробуваного, пропорційно не числа n лампочок, а саме величиною I визначається за формулою Шеннона, де p _i - ймовірність запалити лампочку номер i.
Повідомлення про настання події з меншою ймовірністю несе в собі більше інформації, ніж повідомлення про настання події з більшою ймовірністю. Повідомлення про настання достовірно наступаючого події несе в собі нульову інформацію (і це цілком зрозуміло, - подія все одно відбудеться коли-небудь).
Якщо у формулі Шеннона позначити f _i =-n log ₂ pi, то отримаємо, що I можна розуміти як середньоарифметичне величин f _i.
Звідси, f _i можна інтерпретувати як інформаційний зміст символу алфавіту з індексом i і величиною p _i ймовірності появи цього символу в повідомленні, передавальному інформацію.
Основними позитивними сторонами формули Шеннона є її абстрактність від семантичних і якісних, індивідуальних властивостей системи, а також те, що на відміну від формули Хартлі вона враховує різність, разновероятность станів - формула має статистичний характер (враховує структуру повідомлень), що робить цю формулу зручною для практичних обчислень. Основні негативні сторони формули Шеннона: вона не розрізняє стану (з однаковою ймовірністю досягнення, наприклад), не може оцінювати стану складних і відкритих систем і може бути застосована лише для замкнених систем, відволікаючись від змісту інформації.
Збільшення (зменшення) заходи Шеннона свідчить про зменшення (збільшення) ентропії (організованості) системи. При цьому ентропія може бути мірою дезорганізації систем від повного хаосу (S = Smax) та повної інформаційної невизначеності (I = Imin) до повного порядку (S = Smin) та повної інформаційної визначеності (I = Imax) у системі.
Приклад. Чим ближче об'єкт, що рухається до нас, тим повніше інформація обробляється нашими органами чуття, тим чіткіше і більш структурований (впорядкований) об'єкт. Чим більше інформації ми маємо про комп'ютерну техніку, тим менше психологічний бар'єр перед ним (відповідно до основного співвідношенню між ентропією та інформацією).
3. Термодинамічна міра. Інформаційно-термодинамічний підхід пов'язує величину ентропії системи з браком інформації про її внутрішню структуру (не заповнює принципово, а не нерегістріруемих). При цьому число станів визначає, по суті, ступінь неповноти наших відомостей про систему.
Нехай дана термодинамічна система (процес) S, а Н _0, Н ₁ - термодинамічні ентропії системи S в початковому (рівноважному) і кінцевому станах термодинамічного процесу, відповідно. Тоді термодинамічна міра інформації (негентропії) визначається формулою:
Н (М _0, Н ₁₎ = М ₀ - Н _1.
Ця формула універсальна для будь-яких термодинамічних систем. Зменшення Н (М _0, М ₁₎ свідчить про наближення термодинамічної системи S до стані статичної рівноваги (при даних доступних їй ресурсах), а збільшення - про видалення.
Поставимо деякий питання про стан деякої термодинамічної системи. Нехай до початку процесу можна дати p ₁ рівноймовірно відповідей на це питання (жоден з яких не є кращим іншому), а після закінчення процесу - p ₂ відповідей. Зміна інформації при цьому:
D _I = K ln (p ₁ / p ₂₎ = k (ln p ₁ - ln p _2).
Якщо p _1> p ₂ (D _I> 0) - приріст інформації, тобто відомості про систему стали більш визначеними, а при p10 - більш низькій організації).
Термодинамічна міра (ентропія) застосовна до систем, що знаходяться в тепловій рівновазі. Для систем, далеких від теплової рівноваги, наприклад, живих біосистем, міра - ентропія - менш підходяща.
4. Енергоінформаційна (квантово-механічна) міра. Енергія (ресурс) та інформація (структура) - дві фундаментальні характеристики систем реального світу, що пов'язують їх речові, просторові, часові характеристики. Зараз актуально говорити про біоенергоінформаційних заходи, що відображають механізм взаємозв'язків біофізікоінформаціонних і матеріально-енергетичних процесів у системі, в ноосферу.

3. Теорема Шеннона про кодування при наявності перешкод
Розглянемо першу теорему Шеннона. Перша теорема Шеннона про передачу інформації, яка називається також основною теоремою про кодування при відсутності перешкод, формулюється наступним чином: п ри відсутності перешкод передачі завжди можливий такий варіант кодування повідомлення, при якому середнє число знаків коду, що припадають на один знак кодованого алфавіту, буде скільки завгодно близько до відношення середніх інформацій на знак первинного та вторинного алфавітів.
Використовуючи поняття надмірності коду, можна дати більш коротку формулювання теореми: при відсутності перешкод передачі завжди можливий такий варіант кодування повідомлення, при якому надмірність коду буде скільки завгодно близькою до нуля.
Дані твердження є теоремами і, отже, повинні доводитися, проте докази ми опустимо. Для нас важливо, що теорема відкриває принципову можливість оптимального кодування. Проте необхідно усвідомлювати, що з самої теореми жодним чином не випливає, як таке кодування здійснити практично - для цього повинні залучатися якісь додаткові міркування, що і стане предметом нашого подальшого обговорення.
Далі в основному обмежимо себе ситуацією, коли M = 2, тобто для подання кодів в лінії зв'язку використовується лише два типи сигналів - з практичної точки зору це найбільш просто реалізований варіант (наприклад, існування напруги в проводі (будемо називати це імпульсом) або його відсутність (пауза), наявність або відсутність отвору на перфокарті або намагніченої області на дискеті); подібне кодування називається двійковим. Знаки двійкового алфавіту прийнято позначати "0" і "1", але потрібно сприймати їх як букви, а не цифри. Зручність двійкових кодів і в тому, що при рівних длительностях і ймовірностях кожен елементарний сигнал (0 або 1) несе в собі 1 біт інформації (log ₂ M = 1); тоді з (1), теореми Шеннона:
I1 (A) K (2)
і перша теорема Шеннона отримує таку інтерпретацію: при відсутності перешкод передачі середня довжина двійкового коду може бути як завгодно близькою до середньої інформації, що припадає на знак первинного алфавіту.
Застосування формули (2) для двійкового кодування дає:

Визначення кількості переданої інформації при двійковому кодуванні зводиться до простого підрахунку числа імпульсів (одиниць) і пауз (нулів). При цьому виникає проблема виділення з потоку сигналів (послідовності імпульсів і пауз) окремих кодів. Приймальний пристрій фіксує інтенсивність і тривалість сигналів. Елементарні сигнали (0 і 1) можуть мати однакові або різні тривалості. Їх кількість в коді (довжина кодової ланцюжка), що ставиться у відповідність знаку первинного алфавіту, також може бути однаковим (в цьому випадку код називається рівномірним) або різних (нерівномірний код). Нарешті, коди можуть будуватися для кожного знака вихідного алфавіту (алфавітне кодування) або для їх комбінацій (кодування блоків, слів). У результаті при кодуванні (алфавітному і словесному) можливі наступні варіанти сполучень:
Таблиця 1.