Загальні принципи характерні для нейромереж

Тема роботи: «Загальні принципи, характерні для нейромереж»

Москва 2000

Зміст

Введення

Найбільш цікаві нейромережеві архітектури та їх застосування

Загальні принципи, характерні для нейромереж

Локальність і паралелізм обчислень

Програмування: навчання, засноване на даних

Універсальність навчальних алгоритмів

Сфери застосування нейромереж

Висновок

Список літератури

Введення

Традиційно нейрон описувався в термінах, запозичених з нейрофізіології. Згідно з цими уявленнями нейрон має один вихід sj і кілька входів (синапсів), на які надходять зовнішні впливи хi (від рецепторів і від інших нейронів).

Кількість нейронів в мозку оцінюється величиною 10 ¹⁰ -10 ^11. Типові нейрони мають тіло клітини (сому), безліч розгалужених коротких відростків - дендритів і єдиний довгий і тонкий відросток - аксон. На кінці аксон також розгалужується і утворює контакти з дендрита інших нейронів - синапси.

Малюнок 1. Схема міжнейронної взаємодії

Штучні нейронні мережі отримали широке поширення за останні 20 років і дозволили вирішувати складні завдання обробки даних, часто значно перевершуючи точність інших методів статистики і штучного інтелекту, або будучи єдино можливим методом вирішення окремих завдань. Нейромережа відтворює структуру і властивості нервової системи живих організмів: нейронна мережа складається з великого числа простих обчислювальних елементів (нейронів) і володіє більш складною поведінкою в порівнянні з можливостями кожного окремого нейрона. Нейромережа отримує на вході набір вхідних сигналів і видає відповідний їм відповідь (вихідні сигнали), що є рішенням задачі.

Штучні нейронні мережі застосовуються для задач класифікації чи кластеризації багатовимірних даних. Основна ідея лежить в основі нейронних мереж - це послідовне перетворення сигналу. Основою нейронної мережі є кібернетичний нейрон. Кібернетичний нейрон складається з 3 логічних блоків: входи, функція перетворення і вихід. На кожну комбінацію конкретних значень входів функція перетворення нейрона виробляє певний сигнал (вихід) (зазвичай скаляр), і передає його на входи інших нейронів мережі. Подаючи на входи деяким нейронам сигнали ззовні, і відзначивши виходи частини нейронів, як виходи мережі в цілому, ми отримаємо систему, що здійснює відображення.

Нейронні мережі різняться функцією перетворення в нейронах, внутрішньою архітектурою зв'язків між нейронами і методами настройки (навчання).

Основним плюсом нейромереж є можливість вирішення широкого класу завдань алгоритмічно не розв'язаних або завдань з нечіткими умовами. Доступність і збільшені обчислювальні можливості сучасних комп'ютерів призвели до широкого поширення програм, що використовують принципи нейромережевої обробки даних, але виконуються на послідовних комп'ютерах.

Найбільш цікаві нейромережеві архітектури та їх застосування

Модель Хопфільда ​​з асоціативної пам'яттю.

Багатошаровий персептрон, вирішальний великий клас задач розпізнавання образів.

• самоорганізовані карти Кохен, що володіють можливістю самостійно виявляти закономірності в даних а розбивати вхідні дані на кластери.

• Рекурсивні мережі Елмана, здатні обробляти послідовності векторів.

• Імовірнісні мережі, апроксимуючі Байєсових класифікатори з будь-яким ступенем точності.

Загальні принципи, характерні для нейромереж

Згідно загальноприйнятим уявленням найбільш загальними принципами, характерними для сучасних нейромереж є: коннекціонізм, нелінійність активаційної функції, локальність і паралелізм обчислень, навчання замість програмування, оптимальність навчальних алгоритмів.

1. Коннекціонізм - це особливе протягом у філософській науці, предметом якого є питання пізнання. У рамках цієї течії робляться спроби пояснити інтелектуальні здібності людини, використовуючи штучні нейронні мережі. Складені з великого числа структурних одиниць, аналогічних нейронам, із заданим для кожного елемента вагою, визначальним силу зв'язку з іншими елементами, нейронні мережі являють собою спрощені моделі людського мозку. Така вагова модель володіє ефектом синапсів, що з'єднують кожен нейрон з іншими. Експерименти з нейронними мережами подібного роду продемонстрували їх здатність до навчання виконання таких завдань, як розпізнавання образів, читання і визначення простих граматичних структур. Філософи почали проявляти інтерес до коннекціонізму, так як конекціоністські підхід обіцяв забезпечити альтернативу класичної теорії розуму і широко поширеною в рамках цієї теорії ідеї, згідно з якою механізми роботи розуму мають схожість з обробкою символічного мови цифровим комп'ютером. Те, як саме і в якій мірі парадигма коннекціонізма складає альтернативу класичним уявленням про природу розуму, є предметом запеклих суперечок, що ведуться в останні роки.

Принцип коннекціонізма означає, що кожен нейрон нейромережі, як правило, пов'язаний з усіма нейронами попереднього шару обробки даних. Зауважимо, що найбільш послідовно цей принцип реалізовано в архітектурі багатошарового персептрона.

Малюнок 2. Виділення областей складної форми.

Відмінною рисою нейромереж є глобальність зв'язків. Базові елементи штучних нейромереж - формальні нейрони - спочатку націлені на роботу з широкосмугового інформацією. Кожен нейрон нейромережі, як правило, пов'язаний з усіма нейронами попереднього шару обробки даних (див. Малюнок 1, що ілюструє найбільш широко поширену в сучасних додатках архітектуру багатошарового персептрона). У цьому основна відмінність формальних нейронів від базових елементів послідовних ЕОМ - логічних вентилів, що мають лише два входи. У підсумку, універсальні процесори мають складну архітектуру, засновану на ієрархії модулів, кожен з яких виконує суворо певну функцію. Навпаки, архітектура нейромереж проста і універсальна. Спеціалізація зв'язків виникає на етапі їхнього навчання під впливом конкретних даних.

Малюнок 3. Глобальність зв'язків у штучних нейромереж

Типовий формальний нейрон виробляє найпростішу операцію - зважує значення своїх входів зі своїми ж локально збереженими вагами і виробляє над їхньою сумою нелінійне перетворення:

Малюнок 4. Нейрон виробляє нелінійну операцію над лінійною комбінацією входів

Нелінійність вихідний функції активації принципова. Щоб відобразити суть біологічних нейронних систем, визначення штучного нейрона дається наступним чином:

Він отримує вхідні сигнали (вихідні дані або вихідні сигнали інших нейронів нейронної мережі) через кілька вхідних каналів. Кожен вхідний сигнал проходить через з'єднання, що має певну інтенсивність (або вага); ця вага відповідає синаптичної активності біологічного нейрона. З кожним нейроном пов'язано певне порогове значення. Обчислюється зважена сума входів, з неї віднімається порогове значення і в результаті виходить величина активації нейрона (вона також називається пост-синаптическим потенціалом нейрона - PSP).

Сигнал активації перетвориться за допомогою функції активації (або передаточної функції) і в результаті виходить вихідний сигнал нейрона.

Нелінійність руйнує лінійну суперпозицію і призводить до значного розширення можливостей нейромереж.

Локальність і паралелізм обчислень

Масовий паралелізм нейро - обчислень, необхідний для ефективної обробки образів, забезпечується локальністю обробки інформації в нейромережах. Кожен нейрон реагує лише на локальну інформацію, що надходить до нього в даний момент від пов'язаних з ним таких же нейронів, без апеляції до загального плану обчислень, звичайної для універсальних ЕОМ. Таким чином, нейромережеві алгоритми локальні, і нейрони здатні функціонувати паралельно.

Програмування: навчання, засноване на даних

Штучна нейромережа, як і природна біологічна, може навчатися вирішення завдань: вона містить внутрішні адаптивні параметри нейронів і своєї структури, і змінюючи їх, може змінювати свою поведінку. Місце програмування займає навчання, тренування нейронної мережі: для розв'язання завдання не потрібно програмувати алгоритм - потрібно взяти універсальний нейромережевої інструмент, створити і навчити нейромережа. Нейронна мережа навчається вирішення завдання на деякому "підручнику" - наборі ситуацій, кожна з яких описує значення вхідних сигналів нейромережі і необхідний для цих вхідних сигналах відповідь. "Підручник" задає набір еталонних ситуацій з відомими рішеннями, а нейронна мережа при навчанні сама знаходить залежності між вхідними сигналами і відповідями. Навчена нейромережа може узагальнювати (інтерполювати і екстраполювати) отриманий навик рішення і видавати прогноз для нових значень вхідних сигналів, раніше не включених в "підручник". Нейронна мережа здатна навчатися вирішення завдань, для яких у людини не існує формалізованих, швидких або працюють з прийнятною точністю алгоритмів рішення. Структура нейромережі може бути адаптована до задачі: у нейромережа можуть бути включені додаткові нейрони, якщо вихідна нейромережа не здатна забезпечити вирішення задачі з потрібною точністю. З нейромережі можуть бути виключені зайві нейрони і зв'язку між ними, якщо вихідна нейромережа надлишкова для виконання завдання. Нейромережа може сама виділити найбільш інформативні для задачі вхідні сигнали, відкинути неінформативні, шумові сигнали і в результаті підвищити надійність рішення. При цьому нейронна мережа не робить попереднього повного забування раніше сформованих навичок, прискорюючи таким чином своє донавчання після корекції розмірів.

Відсутність глобального плану обчислень в нейромережах передбачає і особливий характер їх програмування. Вона носить локальний характер: кожен нейрон змінює свої "підгінну параметри" - синаптичні ваги - відповідно до надходить до нього локальної інформацією про ефективність роботи всієї мережі в цілому. Режим розповсюдження такої інформації з мережі і відповідної їй адаптації нейронів носить характер навчання. Такий спосіб програмування дозволяє ефективно врахувати специфіку необхідного від мережі способу обробки даних, бо алгоритм не задається заздалегідь, а породжується самими даними - прикладами, на яких мережа навчається. Саме таким чином в процесі самонавчання біологічні нейромережі виробили такі ефективні алгоритми обробки сенсорної інформації. Характерною особливістю нейромереж є їх здатність до узагальнення, що дозволяє навчати мережу на незначною частці всіх можливих ситуацій, з якими їй, можливо, доведеться зіткнутися в процесі функціонування. У цьому їх разюча відмінність від звичайних ЕОМ, програма яких повинна заздалегідь передбачати їх поведінку у всіх можливих ситуаціях. Ця ж їх здатність дозволяє кардинально здешевити процес розробки додатків.

Універсальність навчальних алгоритмів

Привабливою рисою нейрокомп'ютингу є єдиний принцип навчання нейромереж - мінімізація емпіричної помилки. Функція помилки, що оцінює дану конфігурацію мережі, задається ззовні - в залежності від того, яку мету переслідує навчання. Але далі мережа починає поступово модифікувати свою конфігурацію - стан всіх своїх синаптичних ваг - таким чином, щоб мінімізувати цю помилку. У підсумку, в процесі навчання мережа все краще справляється з покладеною на неї завданням.

Не вдаючись у математичні тонкощі, образно цей процес можна уявити собі як пошук мінімуму функції помилки E (w), що залежить від набору всіх синаптичних ваг мережі w (див. Малюнок 3).

Малюнок 5. Навчання мережі як задача оптимізації

Базовою ідеєю всіх алгоритмів навчання є врахування локального градієнта в просторі конфігурацій для вибору траєкторії якнайшвидшого спуску по функції помилки. Функція помилки, однак, може мати безліч локальних мінімумів, що представляють суб-оптимальні рішення.

Сфери застосування нейромереж

1. Економіка і бізнес: передбачення ринків, автоматичний дилінг, оцінка ризику неповернення кредитів, передбачення банкрутств, оцінка вартості нерухомості, виявлення пере-і недооцінених компаній, автоматичне рейтингування, оптимізація портфелів, оптимізація товарних і грошових потоків, автоматичне зчитування чеків і форм, безпеку транзакцій по пластиковим карткам.

2. Медицина: обробка медичних зображень, моніторинг стану пацієнтів, діагностика, факторний аналіз ефективності лікування, очищення показань приладів від шумів.

3. Авіоніка: учні автопілот, розпізнавання сигналів радарів, адаптивне пілотування сильно пошкодженого літака.

4. Зв'язок: стиснення відео-інформації, швидке кодування-декодування, оптимізація стільникових мереж і схем маршрутизації пакетів.

5. Інтернет: асоціативний пошук інформації, електронні секретарі і агенти користувача в мережі, фільтрація інформації в push-системах, Коллаборативні фільтрація, рубрикація новинних стрічок, адресна реклама, адресний маркетинг для електронної торгівлі.

6. Автоматизація виробництва: оптимізація режимів виробничого процесу, комплексна діагностика якості продукції (ультразвук, оптика, гамма-випромінювання, ...), моніторинг і візуалізація багатовимірної диспетчерської інформації, попередження аварійних ситуацій, робототехніка.

7. Політичні технології: аналіз і узагальнення соціологічних опитувань, передбачення динаміки рейтингів, виявлення значущих факторів, об'єктивна кластеризація електорату, візуалізація соціальної динаміки населення.

8. Безпека та охоронні системи: системи ідентифікації особистості, розпізнавання голосу, осіб у натовпі, розпізнавання автомобільних номерів, аналіз аеро-космічних знімків, моніторинг інформаційних потоків, виявлення підробок.

9. Введення і обробка інформації: Обробка рукописних чеків, розпізнавання підписів, відбитків пальців і голоси. Введення в комп'ютер фінансових та податкових документів.

10. Геологорозвідка: аналіз сейсмічних даних, асоціативні методики пошуку корисних копалин, оцінка ресурсів родовищ.

Існує декілька широко поширених комерційних універсальних нейромережевих програмних пакетів (Statistica Neural Networks, NeuroShell, Matlab Neural Network Toolbox, NeuroSolutions, BrainMaker). Спеціалізованих, некомерційних чи розроблених вченими-дослідниками для власних потреб нейропрограмм набагато більше.

Нейромережі широко використовуються в даний час: нейромережі - це не що інше, як новий інструмент аналізу даних. І краще за інших ним може скористатися саме фахівець у своїй предметній області. Основні труднощі на шляху ще більш широкого розповсюдження нейротехнологій - у невмінні широкого кола професіоналів формулювати свої проблеми в термінах, що допускають просте нейромережне рішення.

Висновок

Можливості нейронних мереж

Основними цікавими на практиці можливостями нейронних мереж є такі:

- Існування швидких алгоритмів навчання: нейронна мережу навіть при сотнях вхідних сигналів і десятках-сотнях тисяч еталонних ситуацій може бути швидко навчена на звичайному комп'ютері. Тому нейронні мережі мають широке коло застосування і дозволяють вирішувати складні завдання прогнозу, класифікації або діагностики.

- Можливість роботи за наявності великої кількості неінформативних, шумових вхідних сигналів - попереднього їх відсіву робити не потрібно, нейронна мережа сама визначить їх малопридатними для вирішення завдання і може їх явно відкинути.

- Можливість роботи зі скорреліровани незалежними змінними, з разнотипной інформацією - непреривнозначной і діскретнозначной, кількісної та якісної, що часто приносить утруднення методам статистики

- Нейронна мережа одночасно може вирішувати кілька завдань на єдиному наборі вхідних сигналів - маючи кілька виходів, прогнозувати значення декількох показників.

- Алгоритми навчання накладають досить мало вимог на структуру нейронної мережі та властивості її нейронів. Тому при наявності експертних знань або у випадку спеціальних вимог можна цілеспрямовано вибирати вигляд і властивості нейронів і нейронної мережі, збирати структуру нейронної мережі вручну, з окремих елементів, і задавати для кожного з них потрібні властивості.

Переваги нейронних мереж

Коло завдань, для вирішення яких використовуються нейронні мережі, багато в чому збігається із завданнями, які розв'язуються традиційними статистичними методами. Тому зазначимо переваги нейромереж перед кількома класичними методами статистики.

У порівнянні з лінійними методами статистики (лінійна регресія, авторегресії, лінійний дискримінант), нейронні мережі дозволяють ефективно будувати нелінійні залежності, більш точно описують набори даних. З нелінійних методів класичної статистики поширений, мабуть, тільки байєсовський класифікатор, який будує квадратичну розділяє поверхню - нейронна мережа ж може побудувати поверхню більш високого порядку. Висока нелінійність розділяє поверхні наївного байєсівського класифікатора (він не використовує коваріаційні матриці класів, як класичний Байєса, а аналізує локальні щільності ймовірності) вимагає значного сумарного числа прикладів для можливості оцінювання ймовірностей при кожному поєднанні інтервалів значень змінних - нейронна мережа ж навчається на всій вибірці даних, НЕ фрагментуючи її, що підвищує адекватність налаштування нейромережі.

При побудові нелінійних моделей (наприклад, поліноміальних) у статистичних програмах зазвичай потрібне ручне введення-опис моделі в символьному вигляді з точністю до значень параметрів: при N = 10 незалежних змінних поліном другого ступеня буде містити N * (N-1) / 2 = 45 коефіцієнтів при попарних творах змінних, 10 при самих змінних, 10 при квадратах значень змінних, тобто 65 (66 з урахуванням неоднорідного доданка) коефіцієнтів. При двадцяти змінних у вираз увійде вже 231 складова. Вводити такі довгі формули довго, великий ризик помилки. Нейронна мережа ж створюється шляхом зазначення виду структури, кількості шарів і числа нейронів у кожному шарі, що набагато швидше. А алгоритми побудови зростаючих нейромереж і зовсім не вимагають початкового завдання розміру нейронної мережі. Альтернативою нейронної мережі при побудові складних нелінійних моделей є тільки метод групового обліку аргументів.

Для стиснення і візуалізації даних в статистиці розроблено метод лінійних головних компонент. Нейромережі-автоассоціатори дозволяють ефективніше стискати дані за рахунок побудови нелінійних відображень і візуалізувати дані в просторі меншого числа нелінійних головних компонент.

У порівнянні з методами непараметричної статистики, нейронна мережа з радіальними базисними функціями дозволяє скорочувати число ядер, оптимізувати координати і розмитість кожного ядра. Це дозволяє при збереженні парадигми локальної ядерної апроксимації прискорювати подальший процес прийняття рішення.

При навчанні нейронної мережі замість критерію якості у вигляді найменших квадратів можна використовувати робасні критерії, додатково вести оптимізацію і властивостей нейронної мережі (наприклад, додаючи критерії регуляризації рішення або оптимізації структури нейронної мережі). Алгоритми навчання нейронної мережі при цьому залишаються незмінними.

Необхідність вирішення прямої і зворотної задач зазвичай вимагає побудови двох моделей. При використанні ж нейронних мереж можна обійтися однією мережею, навченої вирішувати пряму задачу.

Список літератури

1. Курс лекцій з дисципліни «Інтелектуальні системи», лектор Фоміних І.Б.

2. Методичні вказівки Миколаїв А. Б., Фоміних І. Б. Нейромережеві методи аналізу та обробки даних: Учеб. посібник з курсу "Інтелектуальні системи" / МАДІ ГТУ

Інтернет - ресурси

1. http://www.neuropower.de/rus/books/index.html

2. http://www.madi.ru/study/kafedra/asu/metod/nero/1_1.shtml

3. http://neurolec.chat.ru/