NET=XW (1.1)
Сигнал
NET далі, як правило, перетворюється активаційною функцією
F
і дає вихідний нейронний сигнал
OUT
. Активаційна функція може бути звичайною лінійною функцією.
OUT=F(NET), (1.2)
23 де T - деяка постійна порогова величина, або ж функція, більш точно моделює нелінійну передатну характеристику біологічного нейрона і надає нейронної мережі великі можливості.
Рисунок 1.3 – Сигмоїдальна функція
На рисунку 1.2 блок, позначений F, приймає сигнал NET і видає сигнал
OUT. Якщо блок F звужує діапазон зміни величини NET так, що при будь- яких значеннях NET значення OUT належать деякому кінцевому інтервалу, то F називається "стискаючою" функцією. У якості "стискаючої" функції часто використовується логістична або "сигмоїдальна" (S-подібна) функція, показана на рисунку 1.3. Ця функція математично виражається як:
(1.3)
Таким чином,
(1.5)
За аналогією з електронними системами активаційну функцію можна вважати нелінійно підсилювальною характеристикою штучного нейрона.
24
Коефіцієнт посилення обчислюється як відношення приросту величини OUT до викликавшого його невеликому збільшенню величини
NET. Він виражається нахилом кривої при певному рівні збудження і змінюється від малих значень при великих негативних збудженнях (крива майже горизонтальна) до максимального значення при нульовому збудженні і знову зменшується, коли збудження стає великим позитивним
Слабкі сигнали мають потребу у великому мережевому посиленні, щоб дати придатний до використання вихідний сигнал. Однак підсилювальні каскади з великими коефіцієнтами посилення можуть призвести до насичення виходу шумами підсилювачів (випадковими флуктуаціями), які присутні в будь-якій фізично реалізованої мережі. Сильні вхідні сигнали, у свою чергу, також будуть приводити до насичення підсилювальних каскадів, виключаючи можливість корисного використання виходу. Центральна область логістичної функції, має великий коефіцієнт посилення, вирішує проблему обробки слабких сигналів, в той час як області з падаючим посиленням на позитивному і негативному кінцях підходять для великих збуджень. Таким чином, нейрон функціонує з великим посиленням в широкому діапазоні рівня вхідного сигналу
Інший широко використовуваною активаційною функцією є гіперболічний тангенс. За формою вона схожа з логістичною функцією і часто використовується біологами в якості математичної моделі активації нервової клітини.
Подібно логістичної функції гіперболічний тангенс, який наведено на рисунку 1.4, є S-подібної функцією, але він симетричний відносно початку координат, і в точці NET = = 0 значення вихідного сигналу OUT дорівнює
(1.4)
25 нулю. На відміну від логістичної функції, гіперболічний тангенс приймає значення різних знаків, і це його властивість застосовується для цілого ряду мереж.
Рисунок 1.4 – Гіперболічний тангенс
Розглянута проста модель штучного нейрона ігнорує багато властивостів свого біологічного двійника. Наприклад, вона не бере до уваги затримки в часі, які впливають на динаміку системи. Вхідні сигнали відразу ж породжують вихідний сигнал. І, що більш важливо, вона не враховує впливів функції частотної модуляції або синхронізуючої функції біологічного нейрона, які ряд дослідників вважають вирішальними у нервової діяльності природного мозку [2].
Незважаючи на ці обмеження, мережі, побудовані з таких нейронів, виявляють властивості, що сильно нагадують біологічну систему. Тільки час
і дослідження зможуть відповісти на питання, чи є подібні збіги випадковими або ж вони є наслідок того, що в моделі вірно схоплені найважливіші риси біологічного нейрона.
26 1.2.7 Одношарові штучні нейронні мережі
Хоча один нейрон і здатний виконувати найпростіші процедури розпізнавання, але для серйозних нейронних обчислень необхідно з'єднувати нейрони в мережі. Найпростіша мережа складається з групи нейронів, що утворюють шар, як показано в правій частині рисунку 1.5.
Рисунок 1.5 – Одношарова штучна нейронна мережа.
Зазначимо, що вершини-кола зліва служать лише для розподілу вхідних сигналів. Вони не виконують будь-яких обчислень і тому не будуть вважатися шаром. Для більшої наочності позначимо їх колами, щоб відрізняти їх від обчислючих нейронів, позначених квадратами. Кожен елемент з безліччю входів X окремою вагою з'єднаний з кожним штучним нейроном. А кожен нейрон видає зважену суму входів в мережу. У штучних і біологічних мережах багато з'єднань можуть бути відсутні, але тут вони показані все для демонстрації загальної картини. Можуть існувати також з'єднання між виходами і входами елементів в шарі.
Зручно вважати ваги елементами матриці W. Матриця має m рядків і n стовпців, де m - число входів, а n - число нейронів.
27
Таким чином, обчислення вихідного вектора N, компонентами якого є виходи OUT нейронів, зводиться до матричного множення N = XW, де N і X - вектори-рядки.
1.2.8 Багатошарові штучні нейронні мережі
Більші і складні нейронні мережі володіють, як правило, і великими обчислювальними можливостями. Хоча створені мережі всіх конфігурацій, які тільки можна собі уявити, пошарова організація нейронів копіює шаруваті структури певних відділів мозку. Виявилося, що такі багатошарові мережі володіють великими можливостями, ніж одношарові, і в останні роки були розроблені алгоритми для їх навчання. Багатошарові мережі можуть будуватися з каскадів шарів. Вихід одного шару є входом для наступного шару. Подібна мережа показана на рисунку 1.6 і знову зображена з усіма сполуками.Багатошарові мережі не можуть привести до збільшення обчислювальної потужності в порівнянні з одношаровою мережею, якщо активаційна функція між шарами лінійна.
Це показує, що двошарова лінійна мережа еквівалентна одному шару з ваговою матрицею, що дорівнює добутку двох вагових матриць. Отже, будь- яка багатошарова лінійна мережа може бути замінена еквівалентною одношаровою мережею. Однак одношарові мережі досить обмежені за своїми обчислювальним можливостям. Таким чином, для розширення можливостей мереж в порівнянні з одношаровою мережею необхідна нелінійна активаційна функція.
28
Рисунок 1.6 – Багатошарова штучна нейронна мережа.
У мереж, розглянутих досі, не було зворотних зв'язків, тобто з'єднань, що йдуть від виходів деякого шару до входів цього ж шару або попередніх шарів. Цей спеціальний клас мереж, званих мережами без зворотних зв'язків або мережами прямого поширення, представляє великий інтерес і широко використовується. Мережі більш загального вигляду, що мають з'єднання від виходів до входів, називаються мережами із зворотними зв'язками. У мереж без зворотних зв'язків немає пам'яті, їх вихід повністю визначається поточними входами і значеннями ваг. У деяких конфігураціях мереж із зворотними зв'язками попередні значення виходів повертаються на входи; вихід, отже, визначається як поточним входом, так і попередніми виходами.
Тому мережі із зворотними зв'язками можуть мати властивості, подібними з короткочасною людською пам'яттю, де мережеві виходи теж частково залежать від попередніх входів.
На жаль, немає загальноприйнятого способу підрахунку числа шарів в мережі. Багатошарова мережа складається, як показано на рисунку 1.6, з чергуючих множин нейронів і ваг. Раніше, у зв'язку з рисунком 1.5, вже говорилося, що вхідний шар не виконує підсумовування. Ці нейрони служать
29 лише як розгалужень для першої множини ваг і не впливають на обчислювальні можливості мережі. З цієї причини перший шар не приймається до уваги при підрахунку шарів, і мережу, яка подібна до зображеної на рисунку 1.6, вважається двошаровою, оскільки тільки два шари виконують обчислення. Далі, ваги шару вважаються пов'язаними з наступними за ними нейронами. Отже, шар складається з безлічі ваг з наступними за ними нейронами, підсумовують зважені сигнали.
1.2.9 Нейронні мережі Хопфілда і Хеммінга
Серед різних конфігурацій штучних нейронних мереж (НМ) зустрічаються такі, при класифікації яких за принципом навчання, строго кажучи, не підходять ні навчання з учителем, ні навчання без вчителя. У таких мережах вагові коефіцієнти синапсів розраховуються тільки один разперед початком функціонування мережі на основі інформації про оброблені дані, і все навчання мережі зводиться саме до цього розрахунку. З одного боку, пред'явлення апріорної інформації можна розцінювати, як допомога вчителя, але з іншого - мережа фактично просто запам'ятовує зразки до того, як на її вхід надходять реальні дані, і не може змінювати свою поведінку, тому говорити про ланку зворотного зв'язку з "світом "(вчителем) не доводиться. З мереж з подібною логікою роботи найбільш відомі мережа
Хопфілда і мережа Хеммінга, які зазвичай використовуються для організації асоціативної пам'яті.Далі мова піде саме про них.
Структурна схема мережі Хопфілда наведена на рисунку 1.7. Вона складається з єдиного шару нейронів, число яких є одночасно числом входів і виходів мережі. Кожен нейрон пов'язаний синапсами з усіма іншими нейронами, а також має один вхідний синапс, через який здійснюється введення сигналу. Вихідні сигнали, як звичайно, утворюються на аксонах.
30
Рисунок 1.7 – Структурна схема мережі Хопфілда.
Завдання, яке вирішується даною мережею в якості асоціативної пам'яті, як правило, формулюється таким чином. Відомий деякий набір двійкових сигналів (зображень, звукових оцифровок, інших даних, що описують якісь об'єкти або характеристики процесів), які вважаються зразковими. Мережа повинна вміти з довільного неідеального сигналу, поданого на її вхід, виділити ("згадати" за частковою інформацією) відповідний зразок (якщо такий є) або "дати висновок" про те, що вхідні дані не відповідають жодному із зразків. У загальному випадку, будь-який сигнал може бути описаний вектором X = {x i:
i = 0 ... n-1}, n - число нейронів в мережі і - розмірність вхідних та вихідних векторів. Кожен елемент x i
дорівнює або (+1), або (-1). Позначимо вектор, що описує k-ий зразок, через
X k,
а його компоненти, відповідно, - x i
k
, k = 0 ... m-1, m - число зразків. Коли мережа розпізнає (або "згадає") який-небудь зразок на основі пред'явлених їй даних, її виходи будуть містити саме його, тобто Y = X k,
де Y - вектор вихідних значень мережі: Y = {y i:
i = 0, ... n-1}. В іншому випадку, вихідний вектор не співпаде з одним зразковим [6].
Якщо, наприклад, сигнали являють собою якісь зображення, то, відобразивши в графічному вигляді дані з виходу мережі, можна буде
31
,
(1.8) побачити картинку, повністю збігається з однієї зі зразкових (у випадку успіху) або ж "вільну імпровізацію" мережі (у випадку невдачі).
На стадії ініціалізації мережі вагові коефіцієнти синапсів встановлюються таким чином:
(1.5)
Тут ij - індекси, відповідно, предсинаптичного і постсинаптичного нейронів; x i
k
, x j
k
- i-тий та j-тий елементи вектора k-ого зразка.
Алгоритм функціонування мережі наступний (p - номер ітерації):
1. На входи мережі подається невідомий сигнал. Фактично його введеня здійснюється безпосередньою установкою значень аксонів: тому позначення на схемі мережі вхідних синапсів в явному вигляді носить чисто умовний характер. Нуль в дужках праворуч від y i
означає нульову ітерацію в циклі роботи мережі.
2.
Розраховується новий стан нейронів
(1.7)
і нові значення аксонів
,
(1.6)
32 де f - активаційна функція у вигляді стрибка, приведена на рисунку 1.8(а).
Рисунок 1.8 – Активаційні функцї
3. Перевірка, чи змінилися вихідні значення аксонів за останню
ітерацію. Якщо так - перехід до пункту 2, інакше (якщо виходи застабілізовані) - кінець. При цьому вихідний вектор являє собою зразок, найкращим чином поєднується з вхідними даними.
Як говорилося вище, іноді мережа не може провести розпізнавання і видає на виході неіснуючий образ. Це пов'язано з проблемою обмеженості можливостей мережі. Для мережі Хопфілда число образів, що запам'ятовуються m не повинно перевищувати величини, приблизно рівної
(0.15 × n). Крім того, якщо два образи А і Б сильно схожі, вони, можливо, будуть викликати у мережі перехресні асоціації, тобто пред'явлення на входи мережі вектора А призведе до появи на її виходах вектора Б і навпаки.
Коли немає необхідності, щоб мережа в явному вигляді видавала зразок, тобто досить, скажімо, отримувати номер зразка, асоціативну пам'ять успішно реалізує мережа Хеммінга. Дана мережа характеризується, в порівнянні з мережею Хопфілда, меншими витратами на пам'ять і обсягом обчислень, що стає очевидним з її структури, яка наведена на рисунку 1.9.
33
Рисунок 1.9 – Структурна схема мережі Хеммінга.
Мережа складається з двох шарів. Перший і другий шари мають по m нейронів, де m - число зразків. Нейрони першого шару мають по n синапсів, з'єднаних із входами мережі (утворюючими фіктивний нульовий шар).
Нейрони другого шару пов'язані між собою інгібіторними (негативними зворотними) синаптичними зв'язками. Єдиний синапс з позитивним зворотним зв'язком для кожного нейрона з'єднаний з його ж аксоном.
Ідея роботи мережі полягає в знаходженні відстані Хеммінга від тестованого образу до всіх зразків. Відстанню Хеммінга називається число відрізняющихся бітів у двох бінарних векторах. Мережа повинна вибрати зразок з мінімальною відстанню Хеммінга до невідомого вхідного сигналу, в результаті чого буде активізований тільки один вихід мережі, відповідний цим зразком.
На стадії ініціалізації ваговим коефіцієнтам першого шару і порогу активаційної функції привласнюються наступні значення:
34
(1.9) де - i-ий елемент k-ого зразка.
Вагові коефіцієнти гальмуючих синапсів у другому шарі будуть рівними деякій величині 0 <ε <1 / m. Синапс нейрона, пов'язаний з його ж аксоном має вагу +1.
35 2. СПЕЦІАЛЬНА ЧАСТИНА. РОЗРОБКА ІНТЕЛЕКТУАЛЬНОЇ
СИСТЕМИ РОЗПІЗНАВАННЯ ЗОБРАЖЕНЬ ІЗ ЗАСТОСУВАННЯМ
НЕЙРОННИХ МЕРЕЖ.
2.1 Проектування програмного модуля розпізнавання зображень із застосуванням нейронних мереж.
Основні завдання, які ставляться перед нейронними мережами, відносяться до завдань розпізнавання образів. Вони полягають в тому, щоб класифікувати вхідний образ, тобто віднести його до якого-небудь відомого мережі класу. Спочатку мережі даються еталонні образи - такі образи, приналежність яких до певного класу відома. Потім на вхід мережі подається деякий невідомий образ, і мережа намагається за певним алгоритмом співвіднести його з яким-небудь еталонний зразком. Можна сказати, що нейромережі проводять кластеризацію образів. Так як кластерний аналіз застосовується дослідниками ринку цінних паперів, то нейронні мережі можуть бути використані і для прогнозування вартості акцій, що є актуальним завданням, до того ж строго нерозв'язною на даний момент.
Мережа Хемінга має ряд переваг над мережею Хопфілда. Вона здатна знайти мінімальну похибка, якщо похибки вхідних бітів є випадковими і незалежними. Для функціонування мережі Хемінга потрібна менша кількість нейронів, оскільки середній шар вимагає лише один нейрон на клас, замість нейрона на кожен вхідний вузол. І, зрештою, мережа Хемінга не страждає від неправильних класифікацій, які можуть трапитись у мережі Хопфілда. У цілому, мережа Хемінга швидше і точніше, ніж мережа Хопфілда.
Коли немає необхідності, щоб мережа в явному вигляді видавала зразок, тобто досить, скажімо, отримувати номер зразка, асоціативну пам'ять успішно реалізує мережа Хеммінга. Дана мережа характеризується, в порівнянні з мережею Хопфілда, меншими витратами на пам'ять і обсягом
36 обчислень, що стає очевидним з її структури, яка представлена на рисунку
1.9, тому в реалізації програмного модуля буде обрана саме вона.
2.1.1 Розробка алгоритму функціонування мережі Хеммінга
Алгоритм функціонування мережі Хеммінга наступний:
1. На входи мережі подається невідомий вектор X = {x i:
i = 0 ... n-1}, виходячи з якого розраховуються стани нейронів першого шару (верхній
індекс у дужках вказує номер шару):
(2.1)
Після цього отриманими значеннями инициализируются значення аксонів другого шару:
(2.2)
2. Обчислити нові стани нейронів другого шару:
(2.3)
і значення їх аксонів:
(2.4)
37
Початок
1
На входи (НМ) подається невідомий вектор X = {x i:
i = 0
... n-1}
2
Обчислити нові стани нейронів другого шару
3
Чи змінилися виходи нейронів другого шару
Ні
Так
Кінець
Активаційна функція f має вигляд порога (рис.1.2б), причому величина
F повинна бути досить великою, щоб будь-які можливі значення аргументу не призводили до насичення.
3.
Перевірити, чи змінилися виходи нейронів другого шару за останню ітерацію. Якщо так - перейди до кроку 2. Інакше - кінець. Алгоритм представлений у вигляді схеми на рисунку 2.1.
Рисунок 2.1 – Схема алгоритму функціонування мережі Хеммінга
38
З оцінки алгоритму видно, що роль першого шару досить умовна: скориставшись один раз на кроці 1 значеннями його вагових коефіцієнтів, мережа більше не звертається до нього, тому перший шар може бути взагалі виключений з мережі (замінений на матрицю вагових коефіцієнтів).
2.1.2 Розробка алгоритму навчання штучної нейроної мережі
Серед усіх цікавих властивостей штучних нейронних мереж жодне не захоплює так уяви, як їх здатність до навчання. Їх навчання до такої міри нагадує процес інтелектуального розвитку людської особистості, що може здатися, ніби нами досягнуто глибоке розуміння цього процесу. Але, проявляючи обережність, слід стримувати ейфорію. Можливості навчання штучних нейронних мереж обмежені, і потрібно вирішити багато складних завдань, щоб визначити, чи перебуваємо ми на правильному шляху.
Мережа навчається, щоб для деякого безлічі входів давати бажане (або, принаймні, сообразное з ним) безліч виходів. Кожне таке вхідний (або вихідна) множина розглядається як вектор. Навчання здійснюється шляхом послідовного пред'явлення вхідних векторів з одночасною підстроюванням ваг відповідно до певної процедури. У процесі навчання ваги мережі поступово стають такими, щоб кожен вхідний вектор виробляв вихідний вектор.
1 2 3 4