Зміст
1. Аналіз вихідних даних і розробка ТЗ
1.1 Заснування та призначення розробки
1.2 Класифікація розв'язуваної задачі
1.3 Попередній вибір класу НС
1.4 Попередній вибір структури НС
1.5 Вибір пакета НС
1.6 Мінімальні вимоги до інформаційної та програмної сумісності
1.7 Мінімальні вимоги до складу і параметрів технічних засобів
2. Навчання НС
2.1 Формування вихідних даних
2.2. Остаточний вибір моделі, структури і параметрів навчання НС
2.3 Блок-схема алгоритму навчання
3. Аналіз якості навчання
4. Тестовий приклад
5. Висновки
1. Аналіз вихідних даних і розробка технічного завдання
Заснування і призначення розробки
Підставою даної роботи є необхідність виконання курсової роботи з дисципліни "Подання знань в інформаційних системах".
Призначенням роботи є освоєння нейронної мережі.
1.2 Класифікація розв'язуваної задачі
У таблиці 1 представлені деякі проблеми, які вирішуються нейронними мережами [5].
Таблиця 1.
Проблема | Вихідні дані | Вихідні дані | Завдання | Застосування | |||
Класифікація | вектор ознак | вектор, значення всіх координат якого повинні бути рівними 0, за винятком координати, відповідної вихідного елементу, який представляє шуканий клас (значення цієї координати повинно бути рівним 1) | вказівку приналежності вхідного образу одному або декільком попередньо визначеним класам | розпізнавання букв, розпізнавання мови, класифікація сигналу електрокардіограми, класифікація клітин крові | |||
Кластеризація (Класифікація образу без вчителя) | вектор ознак, в якому відсутні мітки класів | - | Алгоритм заснований на подобі образів і розміщує близькі образи в один кластер | вилучення знань, стиснення даних і дослідження властивостей даних | |||
Апроксимация функцій (Мається навчальна вибірка ((xl yi), (х 2, у 2), ..., (xn, yw)), яка генерується невідомою функцією, спотвореної шумом) | набір навчальних векторів | розраховане мережею значення функції | знаходження оцінки функції | ||||
Прогнозування (задані N дискретних відліків {(y (f 1), y (f 2), ..., y (f N)} у послідовні моменти часу t 1, t 2, ..., t N) | вектора даних з M ознаками за T періодів часу | вектора даних з M ознаками за періоди часу T + L | передбачення значення y (t N +1) в момент t N +1 | прийняття рішень у бізнесі, науці і техніці | |||
Управління (Розглядається динамічна система, задана сукупністю {u (t), y (t)}) | u (t) - вхідний керуючий вплив | (T) - вихід системи в момент часу t | розрахунок такого вхідного впливу u (t), при якому система слід по бажаної траєкторії, що диктується еталонною моделлю | ||||
Вихідними даними для даної задачі є вектора (з нулів і одиниць) розмірності 60, які описують кожну з 10 арабських цифр, обраних для навчання. Вихідні дані пропонуються у доданому файлі "cifri. Xls"
У цьому ж файлі містяться і вихідні вектора розмірності 10, де одиниця в одному з 10 положень означає приналежність классифицируемого зразка до тієї чи іншої цифри.
Мережа, приймаючи вхідний вектор, повинна відповідно до них видати відповідний даній послідовності вихідний вектор.
Виходячи з вихідних, вихідних даних, завданням, які необхідно вирішити, це завдання є завданням класифікації.
1.3 Попередній вибір класу нейронної мережі
Список класів НС, в яких існує можливість вирішення завдання, відображений у таблиці 2 [5].
Таблиця 2.
Клас НС
мережі прямого поширення (персептрон, одношаровий і багатошаровий)
реккурентние (одношарові і багатошарові, в тому числі мережі Хопфілда та двунаправленная асоціативна пам'ять)
З класів, які не підходять для вирішення задач класифікації можна вказати багатошарові динамічні мережі з порушенням і гальмуванням і динамікою другого порядку.
Строго і однозначно визначити клас НС для цього завдання не представляється можливим, тому що більшість з них в тій чи іншій мірі підходять для її вирішення.
Виходячи з вище сказаного зупинимо свій вибір на наступних класах: Персептрон, одношаровий і багатошаровий; Мережі Хопфілда; Мережі Ворда; Мережі Кохонена; Двонаправлена асоціативна пам'ять (ДАП);
Проведемо порівняльний аналіз даних класів [5]:
Клас | Модель | Область застосування | Переваги | Недоліки | |
Одношаровий персептрон | окремий персептрони нейрон обчислює зважену суму елементів вхідного сигналу, віднімає значення зсуву і пропускає результат через жорстку порогову функцію, вихід якої дорівнює +1 або -1 у залежності від приналежності вхідного сигналу до одного з двох класів | розпізнавання образів, класифікація | програмні або апаратні реалізації моделі дуже прості. Простий і швидкий алгоритм навчання | прості розділяють поверхні (гіперплощини) дають можливість вирішувати лише нескладні задачі розпізнавання | |
Багатошаровий персептрон з навчанням за методом зворотного поширення помилки | використовується алгоритм зворотного поширення помилки. Тип вхідних сигналів - цілі та дійсні, тип вихідних сигналів - дійсні з інтервалу, заданого передавальної функцією нейронів. Тип передатної функції - сигмоїдальна | розпізнавання образів, класифікація, прогнозування, розпізнавання мови. Контроль, адаптивне управління, побудова експертних систем | перший ефективний алгоритм навчання багатошарових нейронних мереж | цей метод належить до алгоритмів з мінімальною швидкістю збіжності. Для збільшення швидкості збіжності необхідно використовувати матриці других похідних функції помилки | |
Мережа Хопфілда | використовується як автоасоціативна пам'ять. Вихідні дані - вектори-зразки класів. Вихід кожного з нейронів подається на вхід всіх інших нейронів. Тип вхідних та вихідних сигналів - біполярні. Тип передатної функції - жорстка порогова. | асоціативна пам'ять, що адресується за змістом, розпізнавання образів, задачі оптимізації (в тому числі, комбінаторної оптимізації). | дозволяє відновити спотворені сигнали | розмірність і тип вхідних сигналів збігаються з розмірністю і типом вихідних сигналів. Це суттєво обмежує застосування мережі в задачах розпізнавання образів. При використанні сильно корельованих векторів-зразків можливо зациклення мережі в процесі функціонування. Невелика ємність, квадратичний зростання числа синапсів при збільшенні розмірності вхідного сигналу | |
Мережі Ворда | звичайна тришарова мережа зі зворотним поширенням помилки з різними передавальними функціями в блоках прихованого шару | Класифікації ція | навчання, гарне узагальнення на зашумлених даних | ||
Мережі Кохонена | мережа складається з М нейронів, що утворюють прямокутну грати на площині. Елементи вхідних сигналів подаються на входи всіх нейронів мережі. У процесі роботи алгоритму настроюються синаптичні ваги нейронів. Вхідні сигнали (вектора дійсних чисел) послідовно пред'являються мережі, при цьому необхідні вихідні сигнали не визначаються. Після пред'явлення достатнього числа вхідних векторів, синаптичні ваги мережі визначають кластери. Крім того, ваги організовуються так, що топологічно близькі нейрони чутливі до схожих вхідних сигналів | кластерний аналіз, розпізнавання образів, класифікація | мережа може бути використана для кластерного аналізу тільки в разі, якщо заздалегідь відомо число кластерів | здатна функціонувати в умовах перешкод, тому що число класів фіксоване, ваги модифікуються повільно, та налаштування ваг закінчується після навчання | |
Двонаправлена асоціативна пам'ять | є гетероасоціативної. Вхідний вектор надходить на один набір нейронів, а відповідний вихідний вектор виробляється на іншому наборі нейронів. Вхідні образи асоціюються з вихідними | асоціативна пам'ять, розпізнавання образів | мережа може будувати асоціацію між вхідними і вихідними векторами, що мають різні розмірності | Ємність жорстко обмежена, можливі хибні відповіді | |
Виходячи з вище сказаного звужуємо вибір класу до багатошарового персептрона та мережі Ворда.
1.4 Попередній вибір структури НС
Рекомендації щодо вибору структури:
На вхід мережі подається вектор розмірності 60, тому що в нашій математичної моделі растрове зображення ділиться сіткою 6х10 і представляється вектором.
На виході мережі вектор з нулів і одиниць розмірності 10, так як число класів дорівнює 10.
кількість шарів: 1, як правило, починають з одного прихованого шару, а потім експериментально при необхідності збільшують це число
кількість нейронів:
у вхідному шарі: 60, так як розмір зображення 6 x 10;
в прихованому шарі: 30-50% від 60, також визначається експериментально в процесі моделювання;
у вихідному шарі: 10;
3. Вид функцій активації: визначимо далі експериментально
Швидкість навчання виберемо виходячи з того, що при дуже великій швидкості мережа може навчитися невірно, а при дуже маленькою процес навчання може бути довгим.
1.5 Вибір пакета НС
Вимоги для вибору пакета НС:
наявність в пакеті обраної моделі НС
можливість створення обраної структури
можливість завдання вихідних даних для навчання і розрахунку
доступність пакету
трудомісткість з його освоєння
наявність русифікації
інтерфейс
інші достоїнства
інші недоліки
У таблиці 2 наведені характеристики деяких пакетів [http: / / alife. Narod. Ru /].
Таблиця 2:
Назва пакету
1
2
3