1. Нейроподібних елементів (нейрон).
На нейроподібних елементів надходить набір вхідних сигналів x1, x2, ..., xM (або вхідний вектор X), що представляє собою вихідні сигнали інших нейроподібних елементів. Кожен вхідний сигнал помножується на відповідний вага зв'язку w1, w2, ..., wM - аналог ефективності синапсу. Вага зв'язку є скалярною величиною, позитивною для збуджуючих і негативною для гальмують зв'язків. Зважені вагами зв'язків вхідні сигнали надходять на блок сумації, відповідний тіла клітки, де здійснюється їх алгебраїчна сумація і визначається рівень збудження нейроподібних елементів S:
Рис. 1.1.
(1.1)
Вихідний сигнал нейрона y визначається шляхом пропускання рівня порушення S через нелінійну функцію f:
(1.2)
де q - деякий постійний зсув (аналог порога нейрона). Зазвичай використовуються найпростіші нелінійні функції: бінарна (рис. 1.2, а)
Рис. 1.2.
(1.3)
або сігмоідная (рис. 1.2, б)
(1.4)
У такій моделі нейрона нехтують багатьма відомими характеристиками біологічного прототипу, які деякі дослідники вважають критичними. Наприклад, у ній не враховують нелінійність просторово-часової сумації, яка особливо проявляється для сигналів, що приходять по збудливим і гальмуючим синапсах, різного роду тимчасові затримки, ефекти синхронізації і частотної модуляції, рефрактерність і т.п. Незважаючи на це нейроподібні мережі, побудовані на основі таких простих нейроподібних елементів, демонструють асоціативні властивостей, що нагадують властивості біологічних систем.
2. Нейроподібна мережу.
Нейроподібна мережа являє собою сукупність нейроподібних елементів, певним чином з'єднаних один з одним і з зовнішнім середовищем. Вхідний вектор (координуючий вхідний вплив чи образ зовнішнього середовища) подається на мережу шляхом активації вхідних нейроподібних елементів. Безліч вихідних сигналів нейронів мережі y1, y2, ..., yN називають вектором вихідний активності, або паттерном активності нейронної мережі. Ваги зв'язків нейронів мережі зручно представляти у вигляді матриці W, де w ij - вага зв'язку між i-і j-м нейронами. У процесі функціонування (еволюції стану) мережі здійснюється перетворення вхідного вектора у вихідний, тобто деяка переробка інформації, яку можна інтерпретувати, наприклад, як функцію гетеро-або автоасоціативною пам'яті. Конкретний вид виконуваного мережею перетворення інформації обумовлюється не тільки характеристиками нейроподібних елементів, але й особливостями її архітектури, тобто тієї чи іншої топологією міжнейронних зв'язків, вибором певних підмножин нейроподібних елементів для введення і виведення інформації або відсутністю конкуренції, напрямком і способами управління і синхронізації інформаційних потоків між нейронами і т.д.
2.1. Моделі нейронних мереж.
Розглянуті нами моделі нейронних мереж об'єднані в три групи. У п. 2.1.1. розглядаються мережі перцепційного типу, для яких характерна відсутність зворотних зв'язків між нейроподібних елементів, організованими в шари. Відмінною особливістю мереж, представлених у п. 2.1.2, є симетричні (рівні за величиною і протилежні за напрямком) зв'язку між будь-якими двома сполученими нейронами. У нейромережевих архітектурах, описаних у п. 2.1.3, між нейронами одного шару є постійні гальмують зв'язку (латеральне гальмування).
2.1.1. Мережі з прямими зв'язками.
Прямий персептрон. У середині 50-х років була запропонована одна з перших моделей нейронних мереж, яка викликала великий інтерес з-за своєї здатності навчатися розпізнаванню простих образів. Ця модель - персептрон - складається з бінарних нейроподібних елементів і має просту топологію, що дозволило досить повно проаналізувати її роботу і створити численні фізичні реалізації. Типовий персептрон складається з трьох основних компонентів:
матриці бінарних входів r1, r2, ..., rn (сенсорних нейронів або "сітківки", куди подаються вхідні образи);
набору бінарних нейроподібних елементів x1, x2, ..., xm (або предикатів у найбільш загальному випадку) з фіксованими зв'язками до підмножини сітківки ("детектори ознак");
бінарного нейроподібних елементів з модифікуються зв'язками до цих предикатів ("вирішальний елемент").
Насправді число вирішальних елементів вибирають рівною кількості класів, на яке необхідно розбити пред'являються персептрона образи.
Таким чином, модель персептрона характеризується наявністю тільки прямих зв'язків, один з шарів яких є модифікується. У пості випадку, коли n = m і xi = ri, детектори ознак можуть розглядатися як вхідний шар. Тоді персептрон стає одним бінарним нейроподібних елементів. Це класична модель М-входові нейрона, наведена на рис. 1.1, або простий персептрон Розенблатта. У загальному випадку кожен елемент xi може розглядатися як булева функція, що залежить від деякого підмножини сітківки. Тоді величина вихідних сигналів цих обробних елементів є значенням функції xi, яке дорівнює 0 або 1.
Пристрій реагує на вхідний вектор генерацією вихідного сигналу y вирішального елементу за формулою (1.3). Таким чином, персептрон формує гіперплощина, яка ділить багатовимірний простір x1, x2, ..., xm на дві частини і визначає, в якій з них знаходиться вхідний образ, виконуючи таким чином, його класифікацію. Виникає питання, як визначити значення ваг, щоб забезпечити вирішення персептроном конкретного завдання. Це досягається в процесі навчання.
Один з алгоритмів навчання наведений у параграфі 2.2.
Багатошаровий персептрон. Як зазначалося вище, простий персептрон з одним шаром учнів зв'язків формує межі областей рішень у вигляді гіперплоскотей. Двошаровий персептрон може виконувати може виконувати операцію логічного "І" над півпростору, освіченими гіперплощинами першого шару ваг. Це дозволяє формувати будь-які, можливо необмежені, опуклі області у просторі вхідних сигналів. За допомогою тришарового персептрона, комбінуючи логічними "АБО" потрібні опуклі області, можна отримати вже області рішень довільної форми і складності, в тому числі неопуклі і незв'язні. Те, що багатошарові персептрони з достатнім безліччю внутрішніх нейроподібних елементів і відповідної матрицею зв'язку в принципі здатні здійснювати будь-яке відображення вхід - вихід, відзначали ще Мінський і Пейперт, проте вони сумнівалися в тому, що можна відкрити для них потужний аналог процедури навчання простого персептрона. В даний час в результаті відродження інтересу до багатошарових мереж запропоновано декілька таких процедур. Частина з них наведена в параграфі 2.2.
2.1.2. Мережі з симетричними зв'язками.
Ансамблеві нейронні мережі. Мінський і Пейперт відзначали, що недоліки простих персептроном можна подолати як за допомогою багатошарових мереж (див. вище), так і введенням в мережу зворотних зв'язків, що допускають циркуляцію сигналів по замкнутих контурів. Використовувати властивості такого роду мереж для моделювання функцій мозку ще в 1949 р. запропонував Хебб.
Відповідно до поглядів Хебба нервові клітини мозку з'єднані один з одним великою кількістю прямих та зворотних зв'язків збуджуючих і утворюють нейронну мережу. Кожен нейрон здійснює просторово-часову сумація приходять до нього сигналів від збудливих, визначаючи потенціал на своїй мембрані. Коли потенціал на мембрані перевищує порогове значення, нейрон збуджується. Нейрон має рефрактерністю і втомою. Ефективність зв'язків може змінюватися в процесі функціонування мережі, підвищуючись між одночасно порушеними нейронами. Це призводить до об'єднання нейронів у клітинні ансамблі - групи клітин, які найчастіше порушувалися разом, і до відокремлення ансамблів один від одного. При порушенні достатньої частини ансамблю він збуджується цілком. Різні ансамблі можуть перетинатися: один і той же нейрон може входити в різні ансамблі. Електрична активність мозку обумовлена послідовним збудженням окремих ансамблів.
Ідеї Хебба справили великий вплив на уявлення про роботу мозку і послужили основою для створення нейронних моделей довгострокової пам'яті. Дійсно, ансамблеву нейронну мережу можна розглядати як структуру, що реалізує функції розподіленої асоціативної пам'яті. Формування ансамблів в такій мережі відповідає запам'ятовування образів (ознак, об'єктів, подій, понять), закодованих паттерном активності нейронів, а сформовані ансамблі є їх внутрішнім поданням. Процес збудження всього ансамблю при активації частини його нейронів можна інтерпретувати як витяг запомненной інформації за її частини - ключу пам'яті.
Модель пам'яті на основі ансамблевої нейронної мережі має деякі властивості, властивими біологічної пам'яті, таким, як асоціативність, розподіленість, паралельність, стійкість до шуму і збоїв, надійність. Проводяться також структурні аналоги між ансамблевими моделями нейронних мереж і будовою кори головного мозку. Є експериментальні дані про синаптичної пластичності, постулированное Хеббом.
Модель ансамбліевой мережі складається з великої кількості нейронів, кожен з яких зазвичай з'єднаний з усіма іншими елементами мережі. Вхідний образ подається на мережу шляхом активації потрібних нейроподібних елементів. Навчання ансамбліевой мережі описано у параграфі.
Мережа Хопфілда. Хоча численні результати моделювання демонстрували стабільність ансамблевих мереж із зворотними зв'язками і хеббовскім правилом навчання (еволюцію мережі до стійкого стану), відсутність математичного обоснаванія такої поведінки перешкоджало їх популярності.
У 1982 р. американський біофізик Джон Хопвілд опублікував статтю, де поведінка моделі полносвязной мережі бінарних нейроподібних елементів з симетричними зв'язками (w ij = w ji). елементи функціонували в асинхронному режимі, тобто кожен нейрон у випадкові моменти часу з деякою середньою частотою визначав свій стан з правилом (1.3). Це дозволило описати поведінку мережі ка релаксаційний процес, при якому мінімізується функція (гамільтоніан) моделі.
Машина Больцмана являє собою стохастичний варіант мережі Хопфілда. Бінарні нейроподібні елементи (блоки) трактуються тут представники елементарних гіпотез, а ваги - як слабкі парні взаімоограніченія між ними. Позитивний вага зв'язку вказує, що дві гіпотези прагнуть підтримувати один одного, а негативний - на їх несумісність. Симетрія зв'язків дозволяє проаналізувати поведінку мережі з використанням енергетичної функції (гамільтоніану). Енергію певного патерну активності можна інтерпретувати як ступінь порушення обмежень, присутніх в проблемній області, з боку конкретної комбінації гіпотез або як вартісну функцію, яка повинна бути мінімізована для вирішення оптимізаційної задачі. Існує можливість, однак, попадання мережі в локальний мімнімум, що вкрай не бажано для оптимізації задач. Щоб мережа могла вибратися з локального енергетичного мінімуму, в машині Больцмана застосовується розподіл усіх правило спрацьовування блоків:
, (2.1)
де pi - імовірність знаходження i-го блоку в одиничному стані;
P (x) - сігмоідная функція (рис. 1.2. Б);
T - параметр, аналогічний температурі. При T ® 0 це правило переходить у правило спрацьовування детермінованих елементів (1.3), а при підвищенні температури збільшується ймовірність переходу системи в стан з більшою енергією.
Навчання машини Больцмана описано в параграфі 2.2.
2.1.3. Мережі з латеральним гальмуванням.
Карти ознак Кохонена. Зазвичай в якості вхідних образів у моделях асоціативної пам'яті використовуються деякі внутрішні уявлення сенсорної інформації, що пройшла, як вважається, необхідну предобработку. Один з нейромережевих варіантів такої переробки запропоновано Кохоненом. Його алгоритм формує одно-або двовимірну карту "карту" ознак шляхом нелінійного "сплющивания" багатовимірного сигнального простору. При цьому передбачається, що таке відображення має зберігати топологічні відносини, що існують між вхідними сигналами.
Структура нейронної мережі, в якій реалізується формування карт ознак, наведена на рис. 2.1. Нейрони, що мають сігмоідную характеристику, розташовані у вигляді одно-і двовимірного шару шару за аналогією із шаруватим будовою кори. На кожен нейрон надходять два види зв'язків: mij, які інтерпретуються як зв'язки від сенсорних входів або з інших областей, і w jk - латеральні зв'язку від нейронів одного шару, характер яких залежить від відстані між нейронами. Функція взаємодії нейронів одного шару має вигляд "мексиканської капелюха" (рис. 2.2.), Що відповідає деяким нейробіологічним даними. Близько розташовані нейрони збуджують один одного, зі збільшенням відстані порушення змінюється гальмуванням, а потім знову з'являються слабкі збуджуючі зв'язку, які мабуть, виконують асоціативні функції і в даній моделі не використовуються.
Ефект наявності латеральних зв'язків з радіусом дії порядку розмірів мережі виявляється в наступному. Якщо на кожен нейрон подати (наприклад, через зв'язки від сенсорних входів mij) має невеликий максимум випадковий сигнал Si, то в процесі релаксації мережі здійснюється підвищення його контрасность. У результаті навколо первісного максимуму утворюється "бульбашка" вихідний активності нейронів (рис. 2.3.).
Рис. 2.3.
Вхідні сигнали повністю визначають процес самоорганізації мережі, тобто в ній реалізований алгоритм навчання без вчителя. Латеральні зв'язку w jk в моделі вважаються постійними, і всі адаптивні ефекти відбуваються тільки в матриці вхідних зв'язків М. Детальніше процес навчання розглянуто в параграфі 2.2.
Теорія адаптивного резонансу. Мабуть, одна з найрозвиненіших і продуманих з біологічної точки зору концепцій нейромережевої обробки інформації запропонована в роботах Гросберга. Її стрижнем є модель нейронної мережі та алгоритми теорії адаптивного резонансу, яка була розроблена на початку 70-х років і деталізована в 80-х.
Нейронна система теорії адаптивного резонансу здатна навчатися розпізнаванню образів різного ступеня складності. Вона відносить вхідний образ до одного з класів в залежності від того, на який образ із запам'ятованих образів він найбільше схожий. Якщо вхідний образ не відповідає жодному із запам'ятованих, створюється новий клас шляхом його запам'ятовування. Якщо знайдений образ, з певним "допуском" відповідний вхідного, то він модифікується так, щоб стати ще більше схожим на вхідних.
2.2. Навчання нейронної мережі.
Одне з найважливіших властивостей нейроподібні мережі - здатність до самоорганізації, самоадаптації з метою поліпшення якості функціонування. Це досягається навчанням мережі, алгоритм якого задається набором навчальних правил. Навчальні правила визначають, яким чином змінюються зв'язку у відповідь на вхідний вплив. Навчання засноване на збільшенні сили зв'язку (ваги сінопса) між одночасно активними нейронами. Таким чином, часто використовувані зв'язку посилюються, що пояснює феномен навчання шляхом повторення й звикання. Математично це правило можна записати так:
(1.5)
де w ij (t) і w ij (t +1) - значення зв'язку від i-го до j-му нейрона відповідно до і після його зміни, a - швидкість навчання. В даний час існує безліч різноманітних навчальних правил (алгоритмів навчання). Деякі з них наведені нижче.
2.2.1. "Back propagation" (алгоритм зворотного розповсюдження помилки).
Цей алгоритм є узагальненням однієї з процедур навчання простого персептрона, відомої як правило Уїдроу - Хоффа (або дельта-правило), і вимагає подання навчальної вибірки. Вибірка складається з набору пар образів, між якими треба встановити відповідність, і може розглядатися як велике завдання векторної функції, область визначення якої - набір вхідних образів, а безліч значень - набір виходів.
Перед початком навчання зв'язків присвоюються невеликі випадкові значення. Кожна ітерація процедури складається з двох фаз. Під час першої фази на мережу подається вхідний вектор (образ) шляхом встановлення в потрібний стан вхідних елементів. Потім вхідні сигнали поширюються по мережі, породжуючи певний вихідний вектор. Для роботи алгоритму потрібно, щоб характеристика вхід - вихід нейроподібних елементів була неубутною і мала обмежену похідну. Зазвичай для цього використовують сігмоідную нелінійність виду (1.4).
Отриманий вихідний вектор порівнюється з необхідним. Якщо вони збігаються, навчання не відбувається. В іншому випадку обчислюється різниця між фактичними і необхідними вихідними значеннями, яка передається послідовно від вихідного шару до вхідного. На підставі цієї інформації про помилку проводиться модифікація зв'язків з узагальненим дельта-правилом.
2.2.2. Навчання без "вихователя".
Навчання без "вихователя" можливо наприклад у мережах адаптивного резонансу (параграф 2.1.3.). Відбувається порівняння вхідного образу з наявними в пам'яті мережі шаблонами. Якщо немає відповідного шаблону, з яким можна було б ототожнити досліджуваний образ, то створюється новий шаблон, що містить в собі цей вхідний образ. Надалі новий шаблон використовується нарівні з іншими.
3. Нейрокомп'ютери.
Термін "нейрокомп'ютер" вживається для позначення всього спектру робіт в рамках підходу до побудови систем штучного інтелекту, заснованого на моделюванні елементів, структур, взаємодій і функцій різних нервової системи. Так як в даний час дослідження в цій області ведуться в основному на рівні моделей нейронних мереж, то розуміння терміну "нейрокомп'ютери" звужують, ставлячи знак рівності між ним і нейронними мережами.
Залежно від способу реалізації моделей нейронних мереж виділяють 4 рівні нейрокомп'ютерів.
Теоретичний. Роботи, в яких в тій чи іншій формі (математичної, алгоритмічної, словесної і т.д.) представлено опис моделей нейронних мереж.
Програмний. Моделі нейронних мереж, програмно реалізовані на звичайних послідовних комп'ютерах.
Програмно-апаратний. Співпроцесор для прискорення моделювання нейронних мереж.
Апаратний. Фізично реалізовані моделі нейронних мереж.
Специфічність нейромережевих операцій, а також сверхпараллельность структури і функціонування моделей нейронних мереж надзвичайно уповільнюють їх реалізацію на звичайних послідовних комп'ютерах. Потреба у виконанні великого обсягу дослідних робіт і швидкому функціонуванні з'явилися прикладних систем призвели до появи спеціалізованих обчислювальних пристроїв для ефективного моделювання нейронних мереж - нейрокомп'ютерів у вузькому сенсі слова. Таке трактування, відповідна рівнями 2 і 3 по наведеної класифікації, отримала широке поширення.
Висновок.
Розглянуті нами нейроподібні мережі можуть виконувати великий спектр завдань.