В.М. Казіев
Поняття інформації (informatio - роз'яснення, інформування, виклад) є одним з основних, ключових понять не тільки в інформатиці (у информологии - області знань, що вивчає прояв інформації, її представлення, вимірювання і т.д.), але і в математиці, в фізики та ін Поняття "інформація" - погано формалізуються і структуровані поняття. У силу його загальності, об'ємності, розпливчастості воно часто розуміється неточно і неповно не тільки вимагаються. Як правило, це поняття в курсі інформатики не визначається, приймається як початкове базове поняття, невизначуваним терм.
Інформація трактується по різному, наприклад, як:
будь-яка сутність, яка викликає зміни в деякій інформаційно-логічної (инфологической - складається з даних, знань, абстракцій і т.д.) моделі системи (математика, системний аналіз);
повідомлення, отримані системою від зовнішнього світу в процесі адаптивного управління, пристосування (теорія управління, кібернетика);
заперечення ентропії, відображення заходи хаосу в системі (термодинаміка);
зв'язку, які усувають непевність в системі (теорія інформації);
ймовірність вибору в системі (теорія ймовірностей);
відображення різноманіття в системі (фізіологія, біокібернетика);
відображення матерії, атрибут свідомості, "інтелекту" системи (філософія).
Відповідно до парадигми фундаментальності інформатики як освітньої та наукової дисципліни, її виняткову роль у посиленні міждисциплінарних зв'язків, пізнанні системно-інформаційної картини світу, необхідне введення в це фундаментальне, первинне поняття інформатики на досить науковому, суворо-понятійному і в той же час доступному, змістовному рівні, наприклад, за допомогою змістовних прикладів і завдань. Ця проблема пов'язана з труднощами методологічного та методичного плану. Дана стаття (адаптовані до школи витяги з рукопису авторського підручника "Інформатика" для студентів, друге перероблене і доповнене видання [9]) має на меті полегшення цій важкій, але обов'язково потребує розгляді завдання.
1. Поняття інформації, види інформації
Інформація - це деяка послідовність (в наявності впорядкованість) відомостей, знань, які актуалізуються (приходило, передавання, перетворені, стисливі чи реєстрованих) за допомогою деяких знаків (символьного, образного, жестової, звукового, сенсомоторного типу). Це приріст, розвиток, актуалізація знань, що виникає в процесі целеполагающей інтелектуальної діяльності людини. Жодна інформація, ніяке знання не з'являється відразу - цьому передує етап накопичення, осмислення, систематизації досвідчених даних, поглядів. Знання - продукт такого процесу. Мислення - необхідний атрибут такого процесу.
Інформація може існувати в пасивній (не актуалізованою) і активної (актуалізованої) формі.
Приклад. Інформація актуалізується повідомленнями, при цьому форми облачення інформації в повідомлення різні, наприклад, для живих істот - сигнали, жести, для технічних пристроїв - сигнали. Інформація передається від однієї людини іншій, може передаватися символами (лист), жестами (сигнальник на бойовому кораблі), звуками (диктор), геометричними фігурами (кресляр), художніми образами (балерина). Інформація передається тваринами може бути передана звуками (гавкіт, виття, писк), ситуаційним поведінкою (образами). Інформація в технічних пристроях, автоматах може бути передана електричними, магнітними, світловими імпульсами, як це відбувається в ЕОМ.
Інформація по відношенню до навколишнього середовища (або до використовує її середовищі) буває трьох типів: вхідні, вихідна і внутрішня.
Вхідна інформація (по відношенню до навколишнього середовища) - інформація, яку система сприймає від навколишнього середовища.
Вихідна інформація (по відношенню до навколишнього середовища) - інформація, яку система видає в навколишнє середовище.
Внутрішня, внутрішньосистемних інформація (по відношенню до системи) - інформація, яка зберігається, переробляється, використовується тільки всередині системи тобто актуалізуються лише тільки підсистемами системи. Це дещо ідеалізований (особливо з точки зору фізики відкритих систем) поняття.
Приклад. Людина сприймає, обробляє вхідну інформацію, наприклад, дані про погоду на вулиці, формує вихідну реакцію - ту чи іншу форму одягу. При цьому використовується внутрішня інформація, наприклад, це генетично закладена (або придбана) фізіологічна інформація про реакцію, наприклад, про "морозостійкості" людини.
Приклад. Генетично закладена в молекулах ДНК інформація і придбана інформація (у пам'яті) впливають на поведінку, на адаптацію людини в навколишньому середовищі. У машинах першого покоління внутрішня структура визначалася тисячами ламп, причому кожна з них окремо була невисокою надійності, тобто вся система була ненадійною в роботі. Це впливало на вхідну інформацію, наприклад, такі ЕОМ не були здатні на роботу в багатозадачному режимі, в режимі реального часу (обробки повідомлень у міру отримання вхідних даних).
Інформація по відношенню до кінцевого результату проблеми буває:
вихідна (на початок актуалізації цієї інформації);
проміжна (від початку до завершення актуалізації інформації);
результуюча (після завершення її актуалізації).
Приклад. При вирішенні системи лінійних алгебраїчних рівнянь інформація від методах вирішення, середовища реалізації, вхідних даних (джерела, точність і т.д.), розмірності системи і т.д. є вихідною інформацією; інформація про спільної системи рівнянь, чисельних значеннях кореня і т.д. - Результуюча; інформація про поточні станах коефіцієнтів рівнянь реалізації схеми Гаусса - проміжна.
Інформація по мінливості при її актуалізації буває:
постійна (не змінна ніколи при її актуалізації);
змінна (змінна при актуалізації);
змішана - умовно - постійна (або умовно-змінна).
Приклад. У відомій фізичної задачі визначення дальності польоту снаряда артилерійської гармати, інформація про вугілля нахилу знаряддя може бути змінною, інформація про початкової швидкості вильоту снаряда - постійної, а інформація про координати цілі - умовно-постійною.
Можлива також класифікація інформації та за іншими ознаками:
по стадії використання (первинна, вторинна);
за повнотою (надлишкова, достатня, недостатня);
по відношенню до мети системи (синтаксична, семантична, прагматична);
по відношенню до елементів системи (статична, динамічна);
по відношенню до структури системи (структурна, відносна);
по відношенню до управління системою (керуюча, радна, перетворююча, змішана);
по відношенню до території, територіально (федеральна, регіональна, місцева, що відносить до юридичної особи, що відноситься до фізичної особи, змішана);
з доступу (відкрита або загальнодоступна, закрита чи конфіденційна, змішана);
по предметній області, за характером використання (статистична, комерційна, нормативна, довідкова, наукова, навчальна, методична і т.д., змішана) та інші.
Інформація в філософському аспекті буває, в основному: світоглядна; естетична; релігійна; наукова; побутова; технічна, економічна, технологічна.
Все це (з людиною) становить ноосферу суспільства - більш високий стан біосфери, який виник у результаті еволюції, структурування, упорядкування та гармонізації зв'язків у природі і суспільстві під впливом целеполагающей діяльності людства. Це поняття введено вперше В. І. Вернадським у ролі відображення еволюції суспільства і природи тобто системи, в рамках якої потенційно може бути реалізовано гармонійне, сталий розвиток (еволюція) систем "Громада" та "Природа", а також поступове злиття, інтеграція і гармонізація наук про природу, пізнанні і про суспільство. Без цього неможлива побудова інформаційного суспільства.
Основні властивості інформації (і повідомлень):
повнота (зміст усього необхідного для розуміння інформації);
актуальність (необхідність) і значимість (відомостей, знань);
ясність (виразність тексту на інтерпретатора);
адекватність, точність, коректність (актуалізації знань);
интерпретованість і зрозумілість (інтерпретатору інформації);
достовірність (відображуваних повідомленнями інформації);
інформативність, значимість (повідомлень, що відображають інформацію);
масовість (застосовність до всіх проявів);
кодованих і економічність (кодування, актуалізації повідомлень);
стисливість і компактність (повідомлень);
захищеність і завадостійкість (актуалізації інформації);
доступність (інтерпретатору);
цінність (значимість при достатньому рівні споживача).
Приклад. Рекламний щит - простий барвистий шматок дерева (заліза), але інформація закладена в повідомленнях на цьому щиті повинна володіти всіма вищепереліченими властивостями і тільки тоді цей щит буде асоціюватися у інтерпретатора (людини) з рекламованим товаром (послугами) та актуалізувати інформацію. При цьому вся форма подання реклами повинна будуватися з урахуванням зрозумілості інтерпретатору, бути інформативною. Поки символи не організовані певним чином, не використовуються для деякої певної мети, вони не відображають інформацію.
Інформація може виявитися і шкідливою, що впливає негативно на свідомість, наприклад, виховує сприйняття світу від байдужого або ж некритичного - до негативного, "розлюченого", неадекватного. Інформаційний потік - досить сильний подразник.
Приклад. Негативною інформацією - подразником може бути інформація про крах комерційного банку, про різке зростання (спад) валютного курсу, про зміну податкової політики та ін
Інформація не існує без інших типів ресурсів - енергії, речовини, організації, як і вони не можуть існувати без інформації. Будь-які взаємодії систем (підсистем) - взаємодії завжди матеріально-енерго-інформаційні. Виявлення (структурування, упорядкування, встановлення відносин), формалізація (опис формальними засобами, мовами), вивчення (розробка моделей, методів, алгоритмів), застосування (розробка і актуалізація технологій) цих взаємодій і складає основне завдання інформатики - як науки, як людської діяльності .
2. Методи одержання, використання інформації
Методи отримання та використання інформації можна розділити на три групи, умовно розмежовуються і часто перекриваються одне одним.
Емпіричні методи або методи отримання емпіричної інформації (емпіричних даних).
Теоретичні методи або методи отримання теоретичної інформації (побудови теорій).
Емпірико - теоретичні методи (змішані, напівемпіричні) або методи отримання емпірико-теоретичної інформації.
Охарактеризуємо коротко емпіричні методи.
Спостереження - збір первинної інформації про систему (в системі).
Порівняння - встановлення загального і різного в системі (системах).
Вимірювання - знаходження емпіричних законів, фактів для системи.
Експеримент - цілеспрямоване перетворення системи (систем).
Крім цих класичних форм їх реалізації останнім часом використовуються і такі форми як опитування, інтерв'ю, тестування та ін
Охарактеризуємо коротко емпірико - теоретичні методи.
Абстрагування - встановлення загальних властивостей об'єкта (об'єктів), заміщення системи її моделлю.
Аналіз - роз'єднання системи на підсистеми з метою виявлення їх взаємозв'язків.
Синтез - з'єднання підсистем у систему з метою виявлення їх взаємозв'язків.
Індукція - отримання знання про систему за знаннями про підсистемах.
Дедукція - отримання знання про підсистемах за знаннями про систему.
Евристики, використання евристичних процедур - отримання знання про систему за знаннями про підсистемах і спостереженнями, досвіду.
Моделювання, використання приладів - отримання знання про об'єкт за допомогою моделі та / або приладів.
Історичний метод - знаходження знань про систему шляхом використання його передісторії.
Логічний метод - метод знаходження знань про систему шляхом відтворення його підсистем, зв'язків або елементів у мисленні, у свідомості.
Макетування - отримання інформації по макету системи, тобто за допомогою подання підсистем у спрощеному вигляді, який зберігає інформацію, необхідну для розуміння взаємодії і зв'язків цих підсистем.
Актуалізація - отримання інформації за допомогою активізації, ініціалізації її, тобто перекладом з статичного (неактуального) стану в динамічний (актуальне) стан, при цьому всі необхідні зв'язки і відносини (відкритої) системи з зовнішнім середовищем повинні бути збережені.
Візуалізація - отримання інформації з допомогою візуального представлення станів актуалізованої системи; візуалізація передбачає можливість виконання операції типу "пересунути", "повернути", "укрупнити", "зменшити", "видалити", "додати" і т.д. (Як по відношенню до окремих елементів, так і до підсистем системи).
Останнім часом часто використовують і такі форми як моніторинг (система спостережень і аналізу станів системи), ділові ігри та ситуації, експертні оцінки (експертне оцінювання), імітація (імітаційна процедура, експеримент) та ін
Охарактеризуємо коротко теоретичні методи.
Сходження від абстрактного до конкретного - отримання знань про систему на основі знань про його проявах у свідомості, в мисленні.
Ідеалізація - отримання знань про систему або про її підсистемах шляхом уявного конструювання, подання у мисленні систем та / або підсистем, що не існують в дійсності.
Формалізація - отримання знань про систему за допомогою знаків або ж формул, тобто мов штучного походження, наприклад, мови математики (або математична, формальний опис, подання).
Аксіоматизації - отримання знань про систему або процесі з допомогою деяких, спеціально для цього сформульованих аксіом і правил виведення з цієї системи аксіом.
Віртуалізація - отримання знань про систему створенням особливого середовища, обстановки, ситуації, яку реально, без цього середовища неможливо реалізувати і отримати відповідні знання.
Всі ці методи отримання інформації зазвичай застосовуються багаторівневим комплексним чином і можна запропонувати схему
3. Вимірювання за ообщ ень та інформації
Якщо відволіктися від конкретного смислового змісту інформації і розглядати повідомл ення інформації як послідовності знаків, сигналів, то їх можна представляти бітами, а вимірювати в байтах, кілобайтах, мегабайтах, гігабайтах, терабайт і петабайтам.
Вище було зазначено, що інформація може розумітися і інтерпретуватися по-різному. Внаслідок цього наявні різні підходи до визначення методів виміру інформації, міри кількості інформації. Розділ інформатики (теорії інформації) вивчає методи вимірювання інформації називається інформметріей.
Кількість інформації - числова величина, адекватно характеризує актуалізуються інформацію за різноманітністю, складності, структурованості, визначеності, вибору (ймовірності) станів відображається системи.
Якщо розглядається система, яка може приймати одне з n можливих станів, то актуальна задача оцінки такого вибору, результату. Такою оцінкою може стати міра інформації (або події). Міра - це деяка безперервна дійсна неотрицательная функція, визначена на множині подій і є адитивною тобто міра кінцевого поєднання подій (множин) дорівнює сумі заходів кожної події.
1. Міра Р. Хартлі. Нехай є N станів системи S або N дослідів з різними, рівноможливими послідовними станами системи. Якщо кожний стан системи закодувати, наприклад, двійковими кодами певної довжини d, то цю довжину необхідно вибрати так, щоб число всіх різних комбінацій було б не менше, ніж N. Найменше число, при якому це можливо чи захід розмаїття безлічі станів системи задається формулою Р. Хартлі: H = k logа N, де k - коефіцієнт пропорційності (масштабування, в залежності від обраної одиниці виміру заходи), а - основа системи заходів.
Якщо вимірювання ведеться в експоненційної системі, то k = 1, H = lnN (нат); якщо вимір - у двійковій системі, то k = 1/ln2, H = log2N (біт); якщо вимір - у десятковій системі, k = 1/ln10, H = lgN (дит).
Приклад. Щоб дізнатися положення точки в системі з двох клітин тобто отримати деяку інформацію, необхідно поставити 1 питання ("Ліва або права клітина?"). Дізнавшись положення точки, ми збільшуємо сумарну інформацію про систему на 1 біт (I = log2 2). Для системи з чотирьох клітин необхідно задати 2 аналогічних питання, а інформація дорівнює 2 бітам (I = log24). Якщо система має n різних станів, то максимальна кількість інформації дорівнює I = log2 n.
Справедливе твердження Хартлі: якщо в безлічі X = {x1, x2, ..., xn} виділити довільний елемент xiÎ X, то для того, щоб знайти його, необхідно отримати не менше loga n (одиниць) інформації.
За Хартлі, для того, щоб міра інформації мала практичну цінність - вона повинна бути така, щоб відбивала кількість інформації пропорційно числу виборів.
Приклад. Є 192 монети з яких одна фальшива. Визначимо скільки зважувань потрібно зробити, щоб визначити її. Якщо покласти на терези рівну кількість монет, то отримаємо 2 можливості (ми зараз відволікаємося від того, що у разі фальшивої монети таких станів буде два - стану незалежні): а) ліва чашка нижче; б) права чашка нижче. Таким чином, кожне зважування дає кількість інформації I = log22 = 1 і, отже, для визначення фальшивої монети потрібно зробити не менше k зважувань, де k задовольняє умові log22k ³ log2192. Звідси, k ³ 7 або, k = 7. Отже, нам необхідно зробити не менше 7 зважувань (досить семи).
Приклад. ДНК людини можна уявити собі як деяке слово в чотирибуквене алфавіті, де кожною буквою позначається ланка ланцюга ДНК або нуклеотид. Визначимо скільки інформації (у бітах) містить ДНК, якщо в ньому міститься приблизно 1,5 '1023 нуклеотидів. На один нуклеотид доводиться log2 (4) = 2 (біт) інформації. Отже, структури ДНК в організмі людини дозволяє зберігати 3 '1023 біт інформації. Це вся інформація, куди входить і надмірна. Реально використовуваної, - структурованої в пам'яті людини інформації, - набагато менше. У зв'язку з цим, зауважимо, що людина за середню тривалість життя використовує близько 5 - 6% нейронів (нервових клітин мозку - "осередків ОЗУ людини"). Генетичний код - надзвичайно складна і впорядкована система запису інформації. Інформація закладена в генетичному коді (за вченням Дарвіна) накопичувалася багато тисячоліть. Хромосомні структури - своєрідний шифрувальний код і при клітинному розподілі створюються копії шифру, кожна хромосома - подвоюється, в кожній клітині є шифрувальний код, при цьому кожна людина отримує, як правило, свій набір хромосом (код) від матері й від батька. Шифрувальний код розгортає процес еволюції людини. Все життя, як зазначав Е. Шредінгер, "впорядковане й закономірне поведінка матерії, засноване ... на існуванні впорядкованості, яка підтримується весь час ".
Формула Хартлі відвернута від семантичних і якісних, індивідуальних властивостей даної системи (якості інформації, що міститься в системі, у проявах системи за допомогою розглянутих N станів системи). Це основна позитивна сторона цієї формули. Але є й основна негативна сторона: формула не враховує розрізнення і різність розглянутих N станів системи.
Зменшення (збільшення) Н може свідчити про зменшення (збільшення) різноманітності станів N системи.
Зворотне, як це випливає з формули Хартлі (підстава логарифма береться більше 1!), - Також вірно.
Міра К. Шеннона. Формула Шеннона дає оцінку інформації незалежно, абстрактно від її сенсу:
n I = - å pi log2 pi. i = 1
де n - число станів системи; рi - ймовірність (або відносна частота) переходу системи в i-е стан, причому сума всіх pi дорівнює 1.
Якщо всі стани різновірогідні (тобто рi = 1 / n), то I = log2n.
К. Шенноном доведена теорема про одиничність міри кількості інформації. Для випадку рівномірного закону розподілу щільності ймовірності міра Шеннона збігається з мірою Хартлі. Справедливість і достатня універсальність формул Хартлі та Шеннона підтверджується і даними нейропсихології.
Приклад. Час t реакції випробуваного на вибір предмета з наявних N предметів лінійно залежить від log2N: t = 200 +180 log2N (мс). За аналогічним законом змінюється і час передачі інформації в живому організмі. Зокрема, один з дослідів з визначення психофізіологічних реакцій людини полягав у тому, що перед випробуваним велику кількість разів запалювалася одна з n лампочок, яку він повинен вказати. Виявилося, що середній час, необхідне для правильної відповіді випробуваного, пропорційно не числа n лампочок, а саме величиною I визначається за формулою Шеннона, де pi - імовірність запалити лампочку номер i. .
Легко бачити, що в загальному випадку:
n I = - å pi log2 pi £ log2n. i = 1Еслі вибір i - го варіанта визначений заздалегідь (вибору, власне кажучи, немає, pi = 1), то I = 0.
Повідомлення про настання події з меншою ймовірністю несе в собі більше інформації, ніж повідомлення про настання події з більшою ймовірністю. Повідомлення про настання достовірно наступаючого події несе в собі нульову інформацію (і це цілком зрозуміло, - подія все одно відбудеться коли-небудь).
Приклад. Якщо положення точки в системі відомо, зокрема, вона - в k-ої клітині, тобто âñå рi = 0, крім РK = 1, то тоді I = log21 = 0 і ми тут нової інформації не отримуємо.
Приклад. З'ясуємо, скільки біт інформації несе кожне двозначне число з усіма значущими цифрами (відволікаючись при цьому від його конкретного числового значення). Оскільки таких чисел може бути всього 90 (10 - 99), то інформації буде кількість I = log290 або приблизно I = 6.5. Так як в таких числах значуща перша цифра має 9 значень (1 - 9), а друга - 10 значень (0-9), то I = log290 = log29 + log210. Приблизне значення log210 одно 3.32. Отже, повідомлення в одну десяткову одиницю ніс ет у собі о 3.32 більше інформації, ніж в одну двійкову одиницю (чим log22 = 1), а друга цифра в, наприклад, числі аа несе в собі більше інформації, ніж перша (якщо цифри розряду а невідомі; якщо ж ці цифри а відомі, то вибору немає - інформація дорівнює нулю).
Якщо у формулі Шеннона позначити fi =-n log2 pi, то отримаємо, що I можна розуміти як середньоарифметичне величин fi.
Звідси, fi можна інтерпретувати як інформаційний зміст символу алфавіту з індексом i і величиною pi ймовірності появи цього символу в повідомленні, передавальному інформацію.
Нехай повідомлення складається з n різних символів, mi - кількість символів номер i = 1, 2, .... n в цьому повідомленні, а N - довжина повідомлення в символах. Тоді ймовірність появи i-го символу в повідомленні дорівнює pi = mi / N. Кількість всіх різних повідомлень довжини n буде дорівнювати
n
p = N! / Õ mi! .
i = 1
Інформація в одному такому повідомленні дорівнює
n
I = log2 p = ln p / ln 2 = ln (N! / Õ mi!) / Ln 2.
i = 1
Використовуючи формулу Стірлінга (досить точна, наприклад, при N> 100) - N! »(N / e) N, а точніше, її наслідок - ln N! »N (ln N - 1) отримуємо (в бітах):
nn
I »(N ln N - å mi ln mi) / ln 2 =- (N / ln 2) å pi ln pi.
i = 1 i = 1
Приклад. Нехай розглядається алфавіт з двох символів російської мови - "до" і "а". Відносні частоти зустрічальності цих букв в частотному словнику російської мови рівні відповідно p1 = 0.028, p2 = 0.062. Візьмемо довільне слово p довжини N з k літер "до" і m (k + m = N) букв "а" над цим алфавітом. Число всіх таких можливих слів, як це випливає з комбінаторики, так само n = N! / (k! m!). Оцінимо кількість інформації в такому слові: I = log2 n = ln n / ln2 = log2e [ln N! - Ln k! - Ln m!]. Скориставшись наслідком наведеної вище формулою Стірлінга отримуємо оцінку кількості інформації (у бітах) на 1 символ будь-якого слова:
I1 = I / N »(log2e / N) [(k + m) (ln N -1) - k (ln k-1) - m (ln m -1)] =
= (Log2e / N) [k ln (N / k) - m ln (N / m)] =
=- Log2e [(k / N) ln (k / N) + (m / N) ln (m / N)] £
£-log2e [p1 ln p1 + p2 ln p2] =- log2e [0.028 ln0.028 +0.062 ln0.062] »0.235.
Приклад. У повідомленні 4 літери "a", 2 літери "б", 1 літера "і", 6 букв "р". Визначимо кількість інформації в одному такому (з усіх можливих) повідомлень. Число N різних можливих повідомлень довжиною в 13 букв буде дорівнює величині: N = 13! / (4! '2!' 1! '6!) = 180180. Кількість інформації I в одному повідомленні буде дорівнює величині: I = log2 (N) = log2180180 »17.5 (біт).
Якщо k-коеф іціент Больцмана, відомий у фізиці як k = 1. 38 '1 0-16 ерг / град, то вираз
n S =-k å pi ln pi i = 1в термодинаміці відом тно як етропія або міра хаосу, безладу в системі. Порівнюючи вирази I і S бачимо, що I можна розуміти як інформаційну ентропію (ентропію через брак інформації про / в системі).
Нульовий ентропії відповідає максимальна інформація. Основне співвідношення межд у ентропією та інформацією:
I + S (log2e) / k = const
або в диференціальній формі
dI / dt = - ((log2e) / k) dS / dt.
Основними позитивними сторонами формули Шеннона є її абстрактність від семантичних і якісних, індивідуальних властивостей системи, а також те, що на відміну від формули Хартлі вона враховує різність, разновероятность станів - формула має статистичний характер (враховує структуру повідомлень), що робить цю формулу зручною для практичних обчислень. Основні негативні сторони формули Шеннона: вона не розрізняє стану (з однаковою ймовірністю досягнення, наприклад), не може оцінювати стану складних і відкритих систем і може бути застосована лише для замкнених систем, відволікаючись від змісту інформації.
Збільшення (зменшення) заходи Шеннона свідчить про зменшення (збільшення) ентропії (організованості) системи. При цьому ентропія може бути мірою дезорганізації систем від повного хаосу (S = Smax) та повної інформаційної невизначеності (I = Imin) до повного порядку (S = Smin) та повної інформаційної визначеності (I = Imax) у системі.
Приклад. Чим ближче об'єкт, що рухається до нас, тим повніше інформація обробляється нашими органами чуття, тим чіткіше і більш структурований (впорядкований) об'єкт. Чим більше інформації ми маємо про комп'ютерну техніку, тим менше психологічний бар'єр перед ним (відповідно до основного співвідношенню між ентропією та інформацією).
3. Термодинамічна міра. Інформаційно-термодинамічний підхід пов'язує величину ентропії системи з браком інформації про її внутрішню структуру (не заповнює принципово, а не нерегістріруемих). При цьому число станів визначає, по суті, ступінь неповноти наших відомостей про систему.
Нехай дана термодинамічна система (процес) S, а Н0, Н1 - термодинамічні ентропії системи S в початковому (рівноважному) і кінцевому станах термодинамічного процесу, відповідно. Тоді термодинамічна міра інформації (негентропії) визначається формулою:
Н (Н0, Н1) = Н0 - Н1.
Ця формула універсальна для будь-яких термодинамічних систем. Зменшення Н (Н0, Н1) свідчить про наближення термодинамічної системи S до стані статичної рівноваги (при даних доступних їй ресурсах), а збільшення - про видалення.
Поставимо деякий питання про стан деякої термодинамічної системи. Нехай до початку процесу можна дати p1 рівноймовірно відповідей на це питання (жоден з яких не є кращим іншому), а після закінчення процесу - p2 відповідей. Зміна інформації при цьому:
DI = k ln (p1 / p2) = k (ln p1 - ln p2).
Якщо p1> p2 (DI> 0) - приріст інформації, тобто відомості про систему стали більш визначеними, а при p10 - більш низькій організації).
Термодинамічна міра (ентропія) застосовна до систем, що знаходяться в тепловій рівновазі. Для систем, далеких від теплової рівноваги, наприклад, живих біосистем, міра - ентропія - менш підходяща.
4. Енергоінформаційна (квантово-механічна) міра. Енергія (ресурс) та інформація (структура) - дві фундаментальні характеристики систем реального світу, що пов'язують їх речові, просторові, часові характеристики. Якщо А - множина "енергетичного походження", а В - множина "інформаційного походження", то можна визначити енергоінформаційну міру (системи A «B) як відношення, зв'язок між цими множинами виду f: A ® B. Вона повинна відображати механізм взаємозв'язків фізико-інформаційних та матеріально-енергетичних структур і процесів у системі. Зараз актуально говорити про біоенергоінформаційних заходи, що відображають механізм взаємозв'язків біофізікоінформаціонних і матеріально-енергетичних процесів у системі, в ноосферу.
Приклад. Процес поділу клітин супроводжується випромінюванням квантів енергії з частотами приблизно до N = 1.5 '1015 гц. Цей спектр можна сприймати як спектр функціонування словникового запасу клітини - як біоінформаційному системи. З допомогою цього спектра можна закодувати до 1015 різних біохімічних реакцій, що приблизно в 107 разів більше кількості реакцій реально протікають в клітині (їх приблизно 108), тобто словниковий запас клітини надлишковий для ефективного розпізнавання, класифікації, регулюванні цих реакцій у клітині. Кількість інформації на 1 квант енергії: I = log21015 »50 біт. При діленні клітин, кількість енергії, що витрачається на передачу 50 біт інформації дорівнює енергії кванта (h - постійна Планка, n - частота випромінювання): E = hn = 6.62 '10-27 (ерг / cек)' 0.5 '1015 (сек-1 ) = 3.3 '10-12 (ерг). При цьому, на 1 Вт потужності "передавача" або на m = 107 ерг / сек. може бути передано кількість квантів: n = m / E = 107 (ерг / сек) / (3.3 '10-12 (ерг)) »3.3' 1018 (квант). Загальна швидкість передачі інформації на 1 Вт затрачуваної клітиною потужності визначається за кількістю різних станів клітини N і числу квантів (випромінювань) m: V = n log2N = 3.3 '1018' 50 »1.6 '1020 (біт / сек).
4. Поняття про зв'язок інформації та самоорганізації
Будь-яка відкрита інформаційна система еволюціонує так, що починаючи з стану найбільшою ентропії (невизначеності) прагне спіралеподібно до нових зв'язків і відносин, до організованості і порядку в системі в процесі взаємовідносин з середовищем і перебудови структури з метою зменшення ентропії.
Приклад. На телевізійної гри "Що? Де? Коли? "Обговорення питання часто починається хаотично, спонтанно, незалежно і в кінці обговорення може організуватися в одностайне прийняття правильного рішення.
Самоорганізація може спостерігатися і в неживих системах.
Приклад. Еволюція ЕОМ - приклад самоорганізації: від 1-го покоління ЕОМ (40-50-ті роки 19 століття) з ненадійними електронними лампами і швидкодією близько 104 операцій на сек. до 1-го покоління оптичних обчислювальних нейроподібних структур (кінець 90-их років) з голографічним пам'яттю, з логікою на потоках фотонів, швидкодією порядку 1012 операцій на сек. і високою надійністю.
Сформулюємо основні аксіоми теорії інформаційних динамічних процесів (інформаційної синергетики).
Аксіома 1. Розвиток системи визначається певною метою і інформаційними ресурсами системи.
Аксіома 2. При прагненні до мети система сприймає вхідну інформацію, яка використовується і для зміни внутрішньої структури самої системи, внутрішньосистемної інформації.
Аксіома 3. Зміна внутрішньосистемної інформації відбувається таким чином, щоб зменшувалася ентропія (міра безладдя) в системі.
Аксіома 4. Будь-яка зміна внутрішньосистемної інформації впливає на вихідну інформацію системи (на навколишнє середовище).
Аксіома 5. Процес актуалізації інформації структурує навколишній нас світ. Все, що не пізнане в даний момент часу, утворює "хаос", який змушує актуалізувати нову інформацію, нові форми представлення та опису знань, призводить до появи нових гілок знання; цей хаос розвиває при цьому і дослідника.
Інформація - це знання, яке використовується для розвитку, вдосконалення системи і її взаємодій з навколишнім середовищем.
Інформація сама розвивається слідом за розвитком системи. Нові форми, принципи, підсистеми, взаємозв'язки та відносини викликають зміни в інформації, її зміст, форми отримання, переробки, передачі та використання. Завдяки потокам інформації система здійснює доцільне взаємодія з навколишнім середовищем, тобто управляє або керована. Своєчасна і оперативна інформація може дозволити стабілізувати систему, адаптуватися, відновлюватися при порушеннях структури і / або підсистем. Від ступеня інформованості системи, від взаємодії системи і середовища залежить розвиток і стійкість системи.
Видимий математизація і математична інформатизація розділів сучасної науки показує, що їх ефективність залежить як від складності та можливості опису її законів і принципів адекватними математичними і логіко-інформаційними моделями, так і від використовуваного математичного апарату, вибраних заходів інформації, інтелектуальної діяльності, знань, конструктивних методів і алгоритмів їх вимірювання, оцінювання інформаційних ресурсів.
Крім зазначених вище підходів до визначення міри інформації, є й безліч інших (заходи Вінера, Колмогорова, Шрейдера та ін), але основними методами (в освітній інформатики) є зазначені. Рекомендуються для читання [1-11] (наведені в хронологічному порядку).
5. Завдання для самостійного вирішення
На закінчення запропонуємо деякі завдання для закріплення матеріалу та посилення інтересу при навчанні розглянутої вище проблеми.
Завдання 1. ДНК людини можна уявити собі як деяке слово в чотирибуквене алфавіті Х = {A, B, C, D}, де буквою позначається ланка ланцюга ДНК (нуклеотид). Середнє число їх рівне приблизно 1.5 '1023 нуклеотид. Вважаючи, що ядро кожної з приблизно 1013 клітин людського тіла є хранителем генетичної інформації, оцінити обсяг інформації в них (у тілі людини).
Завдання 2. Ресурси людського мозку розраховані на переробку інформації в 16 біт в сек. Яка кількість інформації переробляє людина за своє життя, якщо припустити що переробка інформації йде безперервно протягом середньої тривалості життя, яку прийняти рівною 70 років (зауважимо, що й під час сну людина переробляє інформацію, більше того, сон - продукт такої переробки інформації).
Завдання 3. Деяка система може перебувати в чотирьох станах: у першому - з імовірністю 0.1, у другому і третьому - з імовірністю 0.5, в четвертому - з імовірністю 0.4. Чому дорівнює кількість інформації (або невизначеність вибору) в системі? Якщо система може перебувати тільки в стані номер 2, то чому воно дорівнює?
Завдання 4. Система може приймати 128 різних рівноймовірно станів. якщо стан системи невідомо, то яка кількість інформації в системі (невизначеність вибору)? Якщо відомо, що система знаходиться в стані номер 8, то чому дорівнює кількість інформації?
Завдання 5. Визначити кількість інформації (у бітах) в кожній букві російського алфавіту, ототожнити ймовірність появи цієї літери в словах з частотою по частотного словника російської мови наведеним нижче. Знайти яка кількість інформації визначається з двох літер сполученнями (всім алфавітом)? Оцінити кількість інформації в кожному слові з літер "а", "б", "з" над алфавітом російської мови. Частотний словник російської мови має вигляд:
Буква Частота Буква Частота Буква Частота
про 0.090 до 0.028 ь, виданню, б 0.014
е, є 0.072 м 0.026 год 0.013
а, і 0.062 д 0.025 ї 0.012
т, н 0.053 п 0.023 х 0.009
з 0.045 у 0.021 ж, ю, ш 0.006
р 0.040 я 0.018 ц, щ, е 0.003
в 0.035 и, з 0.016 ф 0.002
Завдання 6. Збільшитися або зменшитися кількість інформації про (в) системою "Посудина з водою" до і після заморожування води. Як зміниться ентропія цієї системи. Відповідь обгрунтуйте.
Завдання 7. Передавач генерує незалежно один від одного послідовності букв із двох букв "а", однієї букви "б", трьох літер "в". Скільки таких всіляких різних слів може генерувати передавач? Яка кількість інформації несе в собі кожне таке слово?
Завдання 8. Проробіть (досить грубий) експеримент з визначення вашого числа Страуд (числа уявних розрізнень в сек): напарник показує або називає двадцять літер у певній (випадковою для Вас) послідовності, а Ви програвайте їх максимально в цій же послідовності; число правильно відтворених літер і є Ваше число Страуд. Перевірте підпорядковуються ці числа (для декількох досліджуваних) закону типу Хартлі.
Завдання 9. Оцініть грубо швидкодія (гіпотетичного) комп'ютера побудованого на биочипе (молекулярному способі запам'ятовування інформації, наприклад, за допомогою вирощених спеціально молекул, здатних забарвлюватися в два стійких кольору - 0 і 1), якщо кількість таких чіпів вважається заданим.
Завдання 10. На стандартній клавіатурі комп'ютера є 46 клавіш (без керуючих, цифрових і функціональних). Кожна клавіша має два регістри і два значення (латинського алфавіту та кирилиці). Оцініть приблизно обсяг інформації, який дозволяє вводити цей набір.
Список літератури
Брілюена Л. Наука і теорія інформації. М.: Физматгиз, 1960. - 392 с.
Шеннон К. Роботи по теорії інформації та кібернетики. М.: ІЛ, 1963 - 830 с.
Мазур М. Якісна теорія інформації. М.: Світ, 1974. - 240 с.
Стратонович Р.Л. Теорія інформації. М.: Сов. радіо, 1975. - 424 с.
Колмогоров А.Н. Теорія інформації та теорія алгорітмов.М: Наука, 1987.-303 с.
Дмитрієв В.М. Прикладна теорія інформації. М: Вища школа, 1989. - 320 с.
Хакен Г. Інформація і самоорганізація. М.: Світ, 1991. - 240 с.
Інформатика. Енциклопедичний словник для початківців. Під ред. Поспєлова Д.А., М.: Педагогіка-Прес, 1994, - 352 с.
Казіев В.М. Інформатика (в 3-х частинах), Нальчик, 1997. - 324 с.
Ловців Д.А. Інформаційна теорія ергасістем. М.: ВАРВСН, 1998. - 124 с.
Райхерт Т.М., Хеннер Є.К. Місце теорії інформації в підготовці вчителя інформатики. ІНФО, N2, 1999, с. 32 - 38.