ЗМІСТ
Введення
§ 1. Поняття ентропії. Ентропія як міра ступеня невизначеності
§ 2. Поняття про інформацію. Вимірювання інформації
§ 3. Теорема Шеннона про кодування при наявності перешкод
§ 4. Приклад використання ентропії в прогнозуванні та її значення для прогнозування. Застосування до ризиків
Висновок
Список використаної літератури
Введення
Предметом роботи є ентропія та інформація. Метою даної роботи є вивчення ентропії, інформації та застосування даних понять до ризиків. Поставлена мета ставить вирішення наступних завдань: розгляду поняття ентропії, статистичного сенсу цього поняття, ентропії як міри ступеня невизначеності, поняття про інформацію, теореми Шеннона про кодування при наявності перешкод, використання ентропії в прогнозуванні та застосування ентропії до ризиків.
Дана тема актуальна, тому що важко знайти поняття більш загальні для всіх наук (не тільки природних) і, разом з тим, іноді носять відтінок загадковості, ніж ентропія та інформація. Почасти це пов'язано з самими назвами. Якщо б не звучну назву "ентропія" залишилася б з моменту першого народження всього лише "інтегралом Клаузіуса", навряд чи вона б не народжувалася знову й знову в різних областях науки під одним ім'ям. Крім того, її першовідкривач Клаузіузус, першим же поклав початок застосування введеного ним для, здавалося б вузькоспеціальних термодинамічних цілей поняття до глобальних космологічним проблем (теплова смерть Всесвіту). З тих пір ентропія багаторазово фігурувала в останніх назавжди знаменитими суперечках. В даний час універсальний характер цього поняття загальновизнаний і вона плідно використовується в багатьох областях.
Термін "інформація" чудовий тим, що, існуючого з давніх пір побутовому поняттю, К. Шенноном було надано математично точний сенс. Невизначено-побутовий зміст цього терміну вже наукового. Це призводило і призводить до багатьох непорозумінь / Дану тему опишемо за допомогою наступних методів: синтезу, аналізу, індукції, дедукції, порівняння та розрахункового методу.
Робота викладена на 26 сторінок і складається з чотирьох параграфів. У роботі 1 таблиця і 7 прикладів.
§ 1. Поняття ентропії. Статистичний сенс поняття ентропії. Ентропія як міра ступеня невизначеності
Ентропія (від грец. Entropia - поворот, перетворення) - міра невпорядкованості великих систем. Вперше поняття "ентропія" введено в XIX ст. в результаті аналізу роботи теплових машин, де ентропія характеризує ту частину енергії, яка розсіюється в просторі, не здійснюючи корисної роботи (звідси визначення: ентропія - міра знецінення енергії). Потім було встановлено, що ентропія характеризує імовірність певного стану будь-якої фізичної системи серед безлічі можливих її станів. У закритих фізичних системах усі самовільні процеси спрямовані до досягнення більш ймовірних станів, тобто до максимуму ентропії. У рівноважному стані, коли цей максимум досягається, ніякі спрямовані процеси неможливі. Звідси виникла гіпотеза про теплової смерті Всесвіту. Однак поширення на весь Всесвіт законів, встановлених для закритих систем, не має переконливих наукових підстав. У XX ст. поняття "ентропія" виявилося плідним для дослідження біосистем, а також процесів передачі та обробки інформації. Еволюція в цілому і розвиток кожного організму відбувається завдяки тому, що біосистеми, будучи відкритими, живляться енергією з навколишнього світу. Але при цьому біопроцеси протікають таким чином, що пов'язані з ними "виробництво ентропії" мінімально. Це служить важливим керівним принципом і при розробці сучасних технологічних процесів, при проектуванні технічних систем. Кількісна міра інформації формально збігається з "негативно певної" ентропією. Але глибоке розуміння відповідності ентропії фізичної та інформаційної залишається однією з кардинальних недостатньо досліджених проблем сучасної науки. Її рішення послужить одним з важливих чинників становлення нового науково-технічного мислення.
Ентропія широко застосовується і в інших областях науки: в статистичній фізиці як міра ймовірності здійснення будь-якого макроскопічного стану; в теорії інформації як міра невизначеності будь-якого досвіду (випробування), який може мати різні результати. Ці трактування мають глибоку внутрішню зв'язок. Наприклад, на основі уявлень про інформаційної ентропії можна вивести всі найважливіші положення статистичної фізики.
Теорія інформації виникла для опису передачі і прийому повідомлень в процесі діяльності людини. У всіх її завданнях присутні поняття передавача і приймача, сигналу-повідомлення, подій та їх ймовірностей. Існування цілі передачі інформації в теорії інформації виражається тим, що вводиться поняття відомого заданого події. Для нього може бути визначена ймовірність р 0 страхування до прийому повідомлення і р 1 після прийому.
У силу визначення інформації як усуненої невизначеності в досягненні мети сувора (тобто математична) формалізація поняття про інформацію вимагає висловити математичним співвідношенням, що є невизначеність у досягненні мети.
Існування невизначеності пов'язане з участю ймовірностей у здійсненні подій. Усунення невизначеності є збільшення ймовірності настання того, що задано як мета. Тому ймовірності повинні брати участь у математичній формулюванні величини усуненої невизначеності.
Перша вдала спроба реалізувати визначення інформації на такій основі здійснена в 1928 р . Л. Хартлі. Нехай можливо в даних умовах n варіантів певного результату. Метою є один з них. Хартлі запропонував характеризувати невизначеність логарифмом числа n. Тобто log n є кількісною мірою невизначеності. Вибір підстави логарифма пов'язаний з поняттям про алфавітах для опису інформації. Цей вибір істотний для економічності кодування в технічних пристроях або живих системах (скорочення потоків імпульсів або аналогових сигналів), але не змінює самого кількості інформації як усуненої невизначеності за рахунок того, що перед логарифмом вводиться безрозмірний множник, що виражається модулем переходу між основами логарифмів. Від нього залежать назви одиниць інформації.
При математичному описі невизначеності (наприклад способом Хартлі) у разі рівноймовірно результатів можна перейти від їх числа n до зворотного величиною - ймовірності р одного з них. У термінах зв'язку конкретно говорять про ймовірність надісланого повідомлення р 0 у приймача до прийому повідомлення. Усунення невизначеності виражається тим, що ймовірність надісланого повідомлення у приймача після прийому сигналу зростає і стає р 1. Тоді кількісна міра s отриманої інформації (усуненої невизначеності) виражається логарифмом відносини ймовірностей:
Воно рівноправно по відношенню до будь-якого окремого повідомленням і має різну величину залежно від величин р 0 і р 1 для нього. В окремому випадку, коли при передачі повністю відсутня шуми і збої, спотворюють сигнал, ймовірність р 0 дорівнює одиниці.
Недолік цього визначення в тому, що воно справедливо в наближенні равновероятности всіх результатів. Це виконується далеко не завжди. У межі в цьому визначенні неймовірного результату прирівнюється неминучий. У 1948 р . це виправив К. Шеннон, який визначив як запобіжний невизначеності вираз:
де
є ймовірності окремих випадків. Він запропонував називати цю величину "ентропією", не пояснюючи зв'язків і відмінностей цього терміна з загальновідомий ентропією у фізиці. Знак мінус в попередній формулі відображає той факт, що ймовірності завжди менше одиниці, а ентропія знакопостоянная функція, для якої звично заданий позитивний знак. Визначення Шеннона скорочено завісивают у вигляді:
,
маючи на увазі як очевидне, що ознаки (аргументи), по відношенню до яких визначено події та їх ймовірності, можуть бути істотно різними, а в ця формула (підсумовування в ній) справедлива тільки для однорідних ознак.
§ 2. Поняття про інформацію. Вимірювання інформації
Поняття інформації (informatio - роз'яснення, інформування, виклад) є одним з основних, ключових понять не тільки в інформатиці (у информологии - області знань, що вивчає прояв інформації, її представлення, вимірювання і т.д.), але і в математиці, в фізики та ін Поняття "інформація" - погано формалізуються і структуровані поняття. У силу його загальності, об'ємності, розпливчастості воно часто розуміється неточно і неповно не тільки вимагаються. Як правило, це поняття в курсі інформатики не визначається, приймається як початкове базове поняття, невизначуваним терм.
Інформація трактується по різному, наприклад, як:
• будь-яка сутність, яка викликає зміни в деякій інформаційно-логічної (инфологической - складається з даних, знань, абстракцій і т.д.) моделі системи (математика, системний аналіз);
• повідомлення, отримані системою від зовнішнього світу в процесі адаптивного управління, пристосування (теорія управління, кібернетика);
• заперечення ентропії, відображення заходи хаосу в системі (термодинаміка);
• зв'язки, які усувають непевність в системі (теорія інформації);
• ймовірність вибору в системі (теорія ймовірностей);
• відображення різноманіття в системі (фізіологія, біокібернетика);
• відображення матерії, атрибут свідомості, "інтелекту" системи (філософія).
Але існує більш повне поняття. Інформація - це деяка послідовність (в наявності впорядкованість) відомостей, знань, які актуалізуються (приходило, передавання, перетворені, стисливі чи реєстрованих) за допомогою деяких знаків (символьного, образного, жестової, звукового, сенсомоторного типу). Це приріст, розвиток, актуалізація знань, що виникає в процесі целеполагающей інтелектуальної діяльності людини. Жодна інформація, ніяке знання не з'являється відразу - цьому передує етап накопичення, осмислення, систематизації досвідчених даних, поглядів. Знання - продукт такого процесу. Мислення - необхідний атрибут такого процесу.
Інформація може існувати в пасивній (не актуалізованою) і активної (актуалізованої) формі.
Приклад. Інформація актуалізується повідомленнями, при цьому форми облачення інформації в повідомлення різні, наприклад, для живих істот - сигнали, жести, для технічних пристроїв - сигнали. Інформація передається від однієї людини іншій, може передаватися символами (лист), жестами (сигнальник на бойовому кораблі), звуками (диктор), геометричними фігурами (кресляр), художніми образами (балерина). Інформація передається тваринами може бути передана звуками (гавкіт, виття, писк), ситуаційним поведінкою (образами). Інформація в технічних пристроях, автоматах може бути передана електричними, магнітними, світловими імпульсами, як це відбувається в ЕОМ.
Інформація в філософському аспекті буває, в основному: світоглядна; естетична; релігійна; наукова; побутова; технічна, економічна, технологічна.
Все це (з людиною) становить ноосферу суспільства - більш високий стан біосфери, який виник у результаті еволюції, структурування, упорядкування та гармонізації зв'язків у природі і суспільстві під впливом целеполагающей діяльності людства. Це поняття введено вперше В. І. Вернадським у ролі відображення еволюції суспільства і природи тобто системи, в рамках якої потенційно може бути реалізовано гармонійне, сталий розвиток (еволюція) систем "Громада" та "Природа", а також поступове злиття, інтеграція і гармонізація наук про природу, пізнанні і про суспільство. Без цього неможлива побудова інформаційного суспільства.
Інформація може виявитися і шкідливою, що впливає негативно на свідомість, наприклад, виховує сприйняття світу від байдужого або ж некритичного - до негативного, "розлюченого", неадекватного. Інформаційний потік - досить сильний подразник.
Приклад. Негативною інформацією - подразником може бути інформація про крах комерційного банку, про різке зростання (спад) валютного курсу, про зміну податкової політики та ін
Інформація не існує без інших типів ресурсів - енергії, речовини, організації, як і вони не можуть існувати без інформації. Будь-які взаємодії систем (підсистем) - взаємодії завжди матеріальноенерго-інформаційні. Виявлення (структурування, упорядкування, встановлення відносин), формалізація (опис формальними засобами, мовами), вивчення (розробка моделей, методів, алгоритмів), застосування (розробка і актуалізація технологій) цих взаємодій і складає основне завдання інформатики - як науки, як людської діяльності .
Якщо відволіктися від конкретного смислового змісту інформації і розглядати повідомлення інформації як послідовності знаків, сигналів, то їх можна представляти бітами, а вимірювати в байтах, кілобайтах, мегабайтах, гігабайтах, терабайт і петабайтам.
Інформація може розумітися і інтерпретуватися по-різному. Внаслідок цього наявні різні підходи до визначення методів виміру інформації, міри кількості інформації. Розділ інформатики (теорії інформації) вивчає методи вимірювання інформації називається інформметріей.
Кількість інформації - числова величина, адекватно характеризує актуалізуються інформацію за різноманітністю, складності, структурованості, визначеності, вибору (ймовірності) станів відображається системи.
Якщо розглядається система, яка може приймати одне з n можливих станів, то актуальна задача оцінки такого вибору, результату. Такою оцінкою може стати міра інформації (або події). Міра - це деяка безперервна дійсна неотрицательная функція, визначена на множині подій і є адитивною тобто міра кінцевого поєднання подій (множин) дорівнює сумі заходів кожної події.
1. Міра Р. Хартлі. Нехай є N станів системи S або N дослідів з різними, рівноможливими послідовними станами системи. Якщо кожний стан системи закодувати, наприклад, двійковими кодами певної довжини d, то цю довжину необхідно вибрати так, щоб число всіх різних комбінацій було б не менше, ніж N. Найменше число, при якому це можливо чи захід розмаїття безлічі станів системи задається формулою Р. Хартлі: H = k log а N, де k - коефіцієнт пропорційності (масштабування, в залежності від обраної одиниці виміру заходи), а - основа системи заходів.
Якщо вимірювання ведеться в експоненційної системі, то k = 1, H = lnN (нат); якщо вимір - у двійковій системі, то k = 1/ln2, H = log 2 N (біт); якщо вимір - у десятковій системі, k = 1/ln10, H = lgN (дит).
Приклад. Щоб дізнатися положення точки в системі з двох клітин тобто отримати деяку інформацію, необхідно поставити 1 питання ("Ліва або права клітина?"). Дізнавшись положення точки, ми збільшуємо сумарну інформацію про систему на 1 біт (I = log 2 2). Для системи з чотирьох клітин необхідно задати 2 аналогічних питання, а інформація дорівнює 2 бітам (I = log 2 4). Якщо система має n різних станів, то максимальна кількість інформації дорівнює I = log 2 n.
За Хартлі, для того, щоб міра інформації мала практичну цінність - вона повинна бути така, щоб відбивала кількість інформації пропорційно числу виборів.
Приклад. Є 192 монети з яких одна фальшива. Визначимо скільки зважувань потрібно зробити, щоб визначити її. Якщо покласти на терези рівну кількість монет, то отримаємо 2 можливості (ми зараз відволікаємося від того, що у разі фальшивої монети таких станів буде два - стану незалежні): а) ліва чашка нижче; б) права чашка нижче. Таким чином, кожне зважування дає кількість інформації I = log 2 лютого = 1 і, отже, для визначення фальшивої монети потрібно зробити не менше k зважувань, де k задовольняє умові log 2 2k ³ log 2 192. Звідси, k = 7. Отже, нам необхідно зробити не менше 7 зважувань (досить семи).
Формула Хартлі відвернута від семантичних і якісних, індивідуальних властивостей даної системи (якості інформації, що міститься в системі, у проявах системи за допомогою розглянутих N станів системи). Це основна позитивна сторона цієї формули. Але є й основна негативна сторона: формула не враховує розрізнення і різність розглянутих N станів системи.
Введення
§ 1. Поняття ентропії. Ентропія як міра ступеня невизначеності
§ 2. Поняття про інформацію. Вимірювання інформації
§ 3. Теорема Шеннона про кодування при наявності перешкод
§ 4. Приклад використання ентропії в прогнозуванні та її значення для прогнозування. Застосування до ризиків
Висновок
Список використаної літератури
Введення
Предметом роботи є ентропія та інформація. Метою даної роботи є вивчення ентропії, інформації та застосування даних понять до ризиків. Поставлена мета ставить вирішення наступних завдань: розгляду поняття ентропії, статистичного сенсу цього поняття, ентропії як міри ступеня невизначеності, поняття про інформацію, теореми Шеннона про кодування при наявності перешкод, використання ентропії в прогнозуванні та застосування ентропії до ризиків.
Дана тема актуальна, тому що важко знайти поняття більш загальні для всіх наук (не тільки природних) і, разом з тим, іноді носять відтінок загадковості, ніж ентропія та інформація. Почасти це пов'язано з самими назвами. Якщо б не звучну назву "ентропія" залишилася б з моменту першого народження всього лише "інтегралом Клаузіуса", навряд чи вона б не народжувалася знову й знову в різних областях науки під одним ім'ям. Крім того, її першовідкривач Клаузіузус, першим же поклав початок застосування введеного ним для, здавалося б вузькоспеціальних термодинамічних цілей поняття до глобальних космологічним проблем (теплова смерть Всесвіту). З тих пір ентропія багаторазово фігурувала в останніх назавжди знаменитими суперечках. В даний час універсальний характер цього поняття загальновизнаний і вона плідно використовується в багатьох областях.
Термін "інформація" чудовий тим, що, існуючого з давніх пір побутовому поняттю, К. Шенноном було надано математично точний сенс. Невизначено-побутовий зміст цього терміну вже наукового. Це призводило і призводить до багатьох непорозумінь / Дану тему опишемо за допомогою наступних методів: синтезу, аналізу, індукції, дедукції, порівняння та розрахункового методу.
Робота викладена на 26 сторінок і складається з чотирьох параграфів. У роботі 1 таблиця і 7 прикладів.
§ 1. Поняття ентропії. Статистичний сенс поняття ентропії. Ентропія як міра ступеня невизначеності
Ентропія (від грец. Entropia - поворот, перетворення) - міра невпорядкованості великих систем. Вперше поняття "ентропія" введено в XIX ст. в результаті аналізу роботи теплових машин, де ентропія характеризує ту частину енергії, яка розсіюється в просторі, не здійснюючи корисної роботи (звідси визначення: ентропія - міра знецінення енергії). Потім було встановлено, що ентропія характеризує імовірність певного стану будь-якої фізичної системи серед безлічі можливих її станів. У закритих фізичних системах усі самовільні процеси спрямовані до досягнення більш ймовірних станів, тобто до максимуму ентропії. У рівноважному стані, коли цей максимум досягається, ніякі спрямовані процеси неможливі. Звідси виникла гіпотеза про теплової смерті Всесвіту. Однак поширення на весь Всесвіт законів, встановлених для закритих систем, не має переконливих наукових підстав. У XX ст. поняття "ентропія" виявилося плідним для дослідження біосистем, а також процесів передачі та обробки інформації. Еволюція в цілому і розвиток кожного організму відбувається завдяки тому, що біосистеми, будучи відкритими, живляться енергією з навколишнього світу. Але при цьому біопроцеси протікають таким чином, що пов'язані з ними "виробництво ентропії" мінімально. Це служить важливим керівним принципом і при розробці сучасних технологічних процесів, при проектуванні технічних систем. Кількісна міра інформації формально збігається з "негативно певної" ентропією. Але глибоке розуміння відповідності ентропії фізичної та інформаційної залишається однією з кардинальних недостатньо досліджених проблем сучасної науки. Її рішення послужить одним з важливих чинників становлення нового науково-технічного мислення.
Ентропія широко застосовується і в інших областях науки: в статистичній фізиці як міра ймовірності здійснення будь-якого макроскопічного стану; в теорії інформації як міра невизначеності будь-якого досвіду (випробування), який може мати різні результати. Ці трактування мають глибоку внутрішню зв'язок. Наприклад, на основі уявлень про інформаційної ентропії можна вивести всі найважливіші положення статистичної фізики.
Теорія інформації виникла для опису передачі і прийому повідомлень в процесі діяльності людини. У всіх її завданнях присутні поняття передавача і приймача, сигналу-повідомлення, подій та їх ймовірностей. Існування цілі передачі інформації в теорії інформації виражається тим, що вводиться поняття відомого заданого події. Для нього може бути визначена ймовірність р 0 страхування до прийому повідомлення і р 1 після прийому.
У силу визначення інформації як усуненої невизначеності в досягненні мети сувора (тобто математична) формалізація поняття про інформацію вимагає висловити математичним співвідношенням, що є невизначеність у досягненні мети.
Існування невизначеності пов'язане з участю ймовірностей у здійсненні подій. Усунення невизначеності є збільшення ймовірності настання того, що задано як мета. Тому ймовірності повинні брати участь у математичній формулюванні величини усуненої невизначеності.
Перша вдала спроба реалізувати визначення інформації на такій основі здійснена в
При математичному описі невизначеності (наприклад способом Хартлі) у разі рівноймовірно результатів можна перейти від їх числа n до зворотного величиною - ймовірності р одного з них. У термінах зв'язку конкретно говорять про ймовірність надісланого повідомлення р 0 у приймача до прийому повідомлення. Усунення невизначеності виражається тим, що ймовірність надісланого повідомлення у приймача після прийому сигналу зростає і стає р 1. Тоді кількісна міра s отриманої інформації (усуненої невизначеності) виражається логарифмом відносини ймовірностей:
Воно рівноправно по відношенню до будь-якого окремого повідомленням і має різну величину залежно від величин р 0 і р 1 для нього. В окремому випадку, коли при передачі повністю відсутня шуми і збої, спотворюють сигнал, ймовірність р 0 дорівнює одиниці.
Недолік цього визначення в тому, що воно справедливо в наближенні равновероятности всіх результатів. Це виконується далеко не завжди. У межі в цьому визначенні неймовірного результату прирівнюється неминучий. У
де
є ймовірності окремих випадків. Він запропонував називати цю величину "ентропією", не пояснюючи зв'язків і відмінностей цього терміна з загальновідомий ентропією у фізиці. Знак мінус в попередній формулі відображає той факт, що ймовірності завжди менше одиниці, а ентропія знакопостоянная функція, для якої звично заданий позитивний знак. Визначення Шеннона скорочено завісивают у вигляді:
,
маючи на увазі як очевидне, що ознаки (аргументи), по відношенню до яких визначено події та їх ймовірності, можуть бути істотно різними, а в ця формула (підсумовування в ній) справедлива тільки для однорідних ознак.
§ 2. Поняття про інформацію. Вимірювання інформації
Поняття інформації (informatio - роз'яснення, інформування, виклад) є одним з основних, ключових понять не тільки в інформатиці (у информологии - області знань, що вивчає прояв інформації, її представлення, вимірювання і т.д.), але і в математиці, в фізики та ін Поняття "інформація" - погано формалізуються і структуровані поняття. У силу його загальності, об'ємності, розпливчастості воно часто розуміється неточно і неповно не тільки вимагаються. Як правило, це поняття в курсі інформатики не визначається, приймається як початкове базове поняття, невизначуваним терм.
Інформація трактується по різному, наприклад, як:
• будь-яка сутність, яка викликає зміни в деякій інформаційно-логічної (инфологической - складається з даних, знань, абстракцій і т.д.) моделі системи (математика, системний аналіз);
• повідомлення, отримані системою від зовнішнього світу в процесі адаптивного управління, пристосування (теорія управління, кібернетика);
• заперечення ентропії, відображення заходи хаосу в системі (термодинаміка);
• зв'язки, які усувають непевність в системі (теорія інформації);
• ймовірність вибору в системі (теорія ймовірностей);
• відображення різноманіття в системі (фізіологія, біокібернетика);
• відображення матерії, атрибут свідомості, "інтелекту" системи (філософія).
Але існує більш повне поняття. Інформація - це деяка послідовність (в наявності впорядкованість) відомостей, знань, які актуалізуються (приходило, передавання, перетворені, стисливі чи реєстрованих) за допомогою деяких знаків (символьного, образного, жестової, звукового, сенсомоторного типу). Це приріст, розвиток, актуалізація знань, що виникає в процесі целеполагающей інтелектуальної діяльності людини. Жодна інформація, ніяке знання не з'являється відразу - цьому передує етап накопичення, осмислення, систематизації досвідчених даних, поглядів. Знання - продукт такого процесу. Мислення - необхідний атрибут такого процесу.
Інформація може існувати в пасивній (не актуалізованою) і активної (актуалізованої) формі.
Приклад. Інформація актуалізується повідомленнями, при цьому форми облачення інформації в повідомлення різні, наприклад, для живих істот - сигнали, жести, для технічних пристроїв - сигнали. Інформація передається від однієї людини іншій, може передаватися символами (лист), жестами (сигнальник на бойовому кораблі), звуками (диктор), геометричними фігурами (кресляр), художніми образами (балерина). Інформація передається тваринами може бути передана звуками (гавкіт, виття, писк), ситуаційним поведінкою (образами). Інформація в технічних пристроях, автоматах може бути передана електричними, магнітними, світловими імпульсами, як це відбувається в ЕОМ.
Інформація в філософському аспекті буває, в основному: світоглядна; естетична; релігійна; наукова; побутова; технічна, економічна, технологічна.
Все це (з людиною) становить ноосферу суспільства - більш високий стан біосфери, який виник у результаті еволюції, структурування, упорядкування та гармонізації зв'язків у природі і суспільстві під впливом целеполагающей діяльності людства. Це поняття введено вперше В. І. Вернадським у ролі відображення еволюції суспільства і природи тобто системи, в рамках якої потенційно може бути реалізовано гармонійне, сталий розвиток (еволюція) систем "Громада" та "Природа", а також поступове злиття, інтеграція і гармонізація наук про природу, пізнанні і про суспільство. Без цього неможлива побудова інформаційного суспільства.
Інформація може виявитися і шкідливою, що впливає негативно на свідомість, наприклад, виховує сприйняття світу від байдужого або ж некритичного - до негативного, "розлюченого", неадекватного. Інформаційний потік - досить сильний подразник.
Приклад. Негативною інформацією - подразником може бути інформація про крах комерційного банку, про різке зростання (спад) валютного курсу, про зміну податкової політики та ін
Інформація не існує без інших типів ресурсів - енергії, речовини, організації, як і вони не можуть існувати без інформації. Будь-які взаємодії систем (підсистем) - взаємодії завжди матеріальноенерго-інформаційні. Виявлення (структурування, упорядкування, встановлення відносин), формалізація (опис формальними засобами, мовами), вивчення (розробка моделей, методів, алгоритмів), застосування (розробка і актуалізація технологій) цих взаємодій і складає основне завдання інформатики - як науки, як людської діяльності .
Якщо відволіктися від конкретного смислового змісту інформації і розглядати повідомлення інформації як послідовності знаків, сигналів, то їх можна представляти бітами, а вимірювати в байтах, кілобайтах, мегабайтах, гігабайтах, терабайт і петабайтам.
Інформація може розумітися і інтерпретуватися по-різному. Внаслідок цього наявні різні підходи до визначення методів виміру інформації, міри кількості інформації. Розділ інформатики (теорії інформації) вивчає методи вимірювання інформації називається інформметріей.
Кількість інформації - числова величина, адекватно характеризує актуалізуються інформацію за різноманітністю, складності, структурованості, визначеності, вибору (ймовірності) станів відображається системи.
Якщо розглядається система, яка може приймати одне з n можливих станів, то актуальна задача оцінки такого вибору, результату. Такою оцінкою може стати міра інформації (або події). Міра - це деяка безперервна дійсна неотрицательная функція, визначена на множині подій і є адитивною тобто міра кінцевого поєднання подій (множин) дорівнює сумі заходів кожної події.
1. Міра Р. Хартлі. Нехай є N станів системи S або N дослідів з різними, рівноможливими послідовними станами системи. Якщо кожний стан системи закодувати, наприклад, двійковими кодами певної довжини d, то цю довжину необхідно вибрати так, щоб число всіх різних комбінацій було б не менше, ніж N. Найменше число, при якому це можливо чи захід розмаїття безлічі станів системи задається формулою Р. Хартлі: H = k log а N, де k - коефіцієнт пропорційності (масштабування, в залежності від обраної одиниці виміру заходи), а - основа системи заходів.
Якщо вимірювання ведеться в експоненційної системі, то k = 1, H = lnN (нат); якщо вимір - у двійковій системі, то k = 1/ln2, H = log 2 N (біт); якщо вимір - у десятковій системі, k = 1/ln10, H = lgN (дит).
Приклад. Щоб дізнатися положення точки в системі з двох клітин тобто отримати деяку інформацію, необхідно поставити 1 питання ("Ліва або права клітина?"). Дізнавшись положення точки, ми збільшуємо сумарну інформацію про систему на 1 біт (I = log 2 2). Для системи з чотирьох клітин необхідно задати 2 аналогічних питання, а інформація дорівнює 2 бітам (I = log 2 4). Якщо система має n різних станів, то максимальна кількість інформації дорівнює I = log 2 n.
За Хартлі, для того, щоб міра інформації мала практичну цінність - вона повинна бути така, щоб відбивала кількість інформації пропорційно числу виборів.
Приклад. Є 192 монети з яких одна фальшива. Визначимо скільки зважувань потрібно зробити, щоб визначити її. Якщо покласти на терези рівну кількість монет, то отримаємо 2 можливості (ми зараз відволікаємося від того, що у разі фальшивої монети таких станів буде два - стану незалежні): а) ліва чашка нижче; б) права чашка нижче. Таким чином, кожне зважування дає кількість інформації I = log 2 лютого = 1 і, отже, для визначення фальшивої монети потрібно зробити не менше k зважувань, де k задовольняє умові log 2 2k ³ log 2 192. Звідси, k = 7. Отже, нам необхідно зробити не менше 7 зважувань (досить семи).
Формула Хартлі відвернута від семантичних і якісних, індивідуальних властивостей даної системи (якості інформації, що міститься в системі, у проявах системи за допомогою розглянутих N станів системи). Це основна позитивна сторона цієї формули. Але є й основна негативна сторона: формула не враховує розрізнення і різність розглянутих N станів системи.
Варіанти поєднань тривалості елементарних сигналів | Кодування первинних символів (слів) | Ситуація | |
однакові | рівномірна | (1) | |
однакові | нерівномірна | (2) | |
різні | рівномірна | (3) | |
різні | нерівномірна
Тривалість двійкового елементарного імпульсу ( ) Показує, скільки часу потрібно для передачі 1 біт інформації. Очевидно, для передачі інформації, в середньому припадає на знак первинного алфавіту, необхідно час . Таким чином, задачу оптимізації кодування можна сформулювати в інших термінах: побудувати таку систему кодування, щоб сумарна тривалість кодів при передачі (або сумарне число кодів при зберіганні) даного повідомлення була б найменшою.
§ 4. Приклад використання ентропії в прогнозуванні та її значення для прогнозування. Застосування до ризиків
Прогнозування - приватний вид моделювання як основи пізнання та управління.
Роль прогнозування в управлінні країною, галуззю, регіоном, підприємством очевидна. Необхідні облік СТЗП-факторів (соціальних, технологічних, економічних, політичних), факторів конкурентного середовища та науково-технічного прогресу, а також прогнозування витрат і доходів підприємств і суспільства в цілому (відповідно з життєвим циклом продукції - в часі і по 11-ти стадіям міжнародного стандарту ІСО 9004). Проблеми впровадження та практичного використання математичних методів економетричного прогнозування пов'язані насамперед із відсутністю в нашій країні досить великого досвіду подібних досліджень, оскільки протягом десятиліть планування віддавався пріоритет перед прогнозуванням.
У конкретних задачах прогнозування необхідно провести класифікацію ризиків, поставити завдання оцінювання конкретного ризику, провести структуризацію ризику. Ризики необхідно враховувати при прогнозуванні економічних наслідків прийнятих рішень, поведінки споживачів і конкурентного оточення, зовнішньоекономічних умов і макроекономічного розвитку Росії, екологічного стану навколишнього середовища, безпеки технологій, екологічної небезпеки промислових та інших об'єктів.
Велика кількість ризиків пов'язано з природними явищами. Їх можна об'єднати під ім'ям «екологічні». До них відносяться, зокрема ризики, пов'язані з невизначеністю низки природних явищ. Типовим прикладом є погода, від якої залежать врожайність (а тому і ціни на сільськогосподарські товари), витрати на опалення і прибирання вулиць, доходи від туризму та ін Особливе значення мають ризики, пов'язані з недостатніми знаннями про природу (наприклад, невідомий точний обсяг корисних копалин в тому чи іншому родовищі, а тому не можна точно передбачити розвиток добувної промисловості й обсяг податкових надходжень від її підприємств). Не можна забувати про ризики екологічних лих; і катастроф типу ураганів, смерчів, землетрусів, цунамі, селів та ін
В даний час при комп'ютерному та математичному моделюванні для опису невизначеностей все частіше використовують такий метод, як ентропія. Деякі види невизначеностей пов'язані з байдужими до організації силами - природними (погодні умови) або суспільними (зміна уряду).
Різноманітні формальні методи оцінки ризиків та управління ними в багатьох випадках (реально в усіх нетривіальних ситуаціях) не можуть дати однозначних рекомендацій. В кінці процесу прийняття рішення - завжди людина, менеджер, на якому лежить відповідальність за прийняте рішення.
Тому процедури ентропії природно застосовувати не тільки на кінцевому, але і на всіх інших етапах аналізу розглянутого організацією проекту, використовуючи при цьому весь арсенал теорії і практики ентропії.
Розглянемо використання ентропії на прикладі прогнозу погоди.
Нехай для деякого пункту ймовірність того, що 15 червня буде йти дощ, дорівнює 0,4, а ймовірність того, що дощу не буде, дорівнює 0,6. Нехай далі для цього ж пункту ймовірність дощу 15 жовтня дорівнює 0,8, а ймовірність відсутності дощу в цей день - всього 0,2. Припустимо, що певний метод прогнозу погоди 15 червня виявляється правильним у 3 / 5 всіх тих випадків, в яких передбачається дощ, і в 4 / 5 тих випадків, в яких передбачається відсутність опадів; у застосуванні ж до погоди 15 жовтня цей метод виявляється правильним у 9 / 10 тих випадків, в яких передбачається дощ, і в половині випадків, в яких передбачається відсутність дощу (порівняно великий відсоток помилок у останньому випадку природно пояснюється тим, що передбачається малоймовірне подія, передбачити яке досить важко). Питається, у якій з двох зазначених днів прогноз дає нам більше інформації про реальну погоду?
Позначимо через β 1 і β 2 досліди, що складаються у визначенні погоди в розглянутому пункті 15 червня і 15 жовтня. Ми вважаємо, що ці досліди мають лише по два результати - В (дощ) і
Досвід β 1
результати | У | |
ймовірно. | 0,4 | 0,6 |
результати | У | |
ймовірно. | 0,8 | 0,2 |
Н (β 1) = -0,4 log 0,4 - 0,6 log 0,6
Н (β 2) = - 0,8 log 0,8 - 0,2 log 0,2
Нехай тепер α 1 і α 2 - передбачення погоди на 15 червня і на 15 жовтня. Досліди α 1 і α 2 також мають по два результати: А (передбачення дощу) і
Пара (α 1, β 1)
0,6 | 0,4 | 0,2 | 0,8 |
0,9 | 0,1 | 0,5 | 0,5 |
0,4 = р (В) = р 1 (А)
і для досвіду β 2
0,8 = р (В) = р 2 (А)
Так як р 1 (
р 1 (А) = р 1 (
Підрахуємо тепер ентропії Н А (β 1),
Н А (β 1) = -0,6 • log 0,6 - 0,4 • log 0,4
і
Отже,
Таким чином, інформація, що міститься в прогнозі погоди на 15 червня (досвід α 1) про реальну погоду в цей день (про досвід β 2), дорівнює
I (α 1, β 1) = Н (β 1) -
що дещо більше, ніж інформація про реальну погоду 15 жовтня (про досвід β 2), що міститься в прогнозі погоди на цей день (у досвіді α 2):
I (α 2, β 2) = Н (β 2) -
Цей результат дозволяє вважати прогноз погоди па 15 нюня більш цінним, ніж прогноз на 15 жовтня, незважаючи на те, що останній прогноз частіше виявляється правильним: дійсно, через формули повної ймовірності, для прогнозу погоди на 15 нюня ймовірність виявитися правильним дорівнює
р 1 (А)
в той час як для прогнозу погоди на 15 жовтня ця ймовірність дорівнює
р 2 (А)
Висновок
Ентропія як фізична мінлива первинно виникла із завдань опису теплових процесів. Згодом вона стала широко використовуватися у всіх галузях науки.
Інформація - це знання, яке використовується для розвитку, вдосконалення системи і її взаємодій з навколишнім середовищем.
Інформація сама розвивається слідом за розвитком системи. Нові форми, принципи, підсистеми, взаємозв'язки та відносини викликають зміни в інформації, її зміст, форми отримання, переробки, передачі та використання. Завдяки потокам інформації система здійснює доцільне взаємодія з навколишнім середовищем, тобто управляє або керована. Своєчасна і оперативна інформація може дозволити стабілізувати систему, адаптуватися, відновлюватися при порушеннях структури і / або підсистем. Від ступеня інформованості системи, від взаємодії системи і середовища залежить розвиток і стійкість системи.
У сучасному світі все більше значення в управлінні організацією віддається прогнозуванню. Будь-яка організація в процесі своєї діяльності стикається з різними ризиками, які більшою чи меншою мірою впливають на її стан. Многочіслелни приклади ситуацій, пов'язаних із соціальними, технологічними, економічними, політичними, екологічними та іншими ризиками. Саме в таких ситуаціях зазвичай і необхідно прогнозування. Відомі різні види критеріїв, які використовуються в теорії прийняття рішень в умовах невизначеності (ризику). Через суперечливості рішень, одержуваних за різними критеріями, очевидна необхідність застосування ентропії.
Список використаної літератури
1. Дмитрієв В.М. Прикладна теорія інформації. М: Вища школа, 1989.
2. Колмогоров А.Н. Теорія інформації та теорія алгорітмов.М: Наука, 1987.
3. Колмогоров А.Н. Три підходи до визначення поняття "кількість інформації" / / Проблеми передачі інформації. 1965. Т.1. № 1.
4. Поплавський Р. П. депоніт Максвелла і співвідношення між інформацією і ентропією / / УФН. 1979. Т. 128. Вип. 1.
5. Хартлі Р. Передача інформації / / Теорія інформації та її застосування. М.: Физматгиз. 1959.
6. Шамбадаль П. Розвиток і додатки поняття ентропії. М.: Наука, 1967.
7. Яглом А.М., Яглом І.М. Вірогідність та інформація. М.: Наука, 1973.