У числі основних складнощів при вирішенні даного завдання - велике розмаїття вхідних даних і труднощі виділення загальних властивостей зовнішнього вигляду для об'єктів природного походження. Об'єкти штучного походження звичайно розпізнавати значно легше.
У методах опису властивостей об'єкта для знаходження можна виділити два крайніх напрямки:
Узагальнення й використання емпіричних даних і правил про об'єкт (top-down, bottom-up)
Ідея полягає в знаходженні, узагальненні та формулюванні в математичних термінах емпіричних спостережень та правила про те, як на зображеннях зазвичай виглядає цікавий для нас об'єкт. Продовжуючи приклад з сонечком, можна помітити наступне:
1. Сонечка зазвичай рудого або червоного кольору;
2. На спині у них зазвичай присутня деяка кількість чорних плямах (можна також порахувати зразкову співвідношення розміру плям з розміром комахи);
3. Спина в них розділена на дві половинки темною лінією, зазвичай видимою. З однієї зі сторін цій лінії у божої корівки голова - темна, що співвідносяться за розмірами з тілом у певній пропорції;
4. Зверху сонечко виглядає приблизно як еліпс;
Добре, якщо відомі додаткові умови задачі і отримання вхідних зображень, наприклад:
1. Приблизно відомі очікувані розміри божих корівок (тобто відомо збільшення камери і відстань до об'єкта, що знімається);
2. Нас цікавлять тільки сонечка, що сидять на листках (значить, якщо прийняти, що листя зелене, можна розглядати тільки об'єкти, що знаходяться на зеленому фоні);
Спираючись на перелічені правила можна побудувати якийсь алгоритм їх перевірки та знаходження об'єктів на зображенні, що відповідають цим правилам. Складність полягає в тому, що, по-перше, правила можуть не описувати всіх властивостей об'єкта, по-друге, правила можуть виконуватися не завжди, по-третє, в процесі знаходження правил та їх математичної формулюванні відбувається ряд спрощень, ведучи усе далі від виду реального об'єкта. Зрозуміло, що успішність описаного метод безпосередньо залежить від фантазії і спостережливості розробника.
Моделювання зовнішнього вигляду об'єкта, використання інструментарію розпізнавання образів (pattern recognition).
Суть цього підходу полягає в обчисленні деяких числових характеристик зображення модельованого об'єкта (вектора ознак) і застосування різних математичних методів для визначення "схожості" тестових зображень на зображення об'єкта, грунтуючись на цих характеристиках.
Наприклад, саме зображення потрібного об'єкта можна безпосередньо представити як вектор в багатовимірному просторі і натренувати деякий класифікатор за допомогою набору прикладів зображень об'єктів. Класифікатор в даному випадку означає певний інструмент, який приймає на вхід зображення, представлене у вигляді вектора в багатовимірному просторі, і видає на виході якусь інформацію, классифицирующую вхідне зображення щодо деякої ознаки.
Приклади часто використовуваних класифікаторів:
1. Метод найменших квадратів;
2. Пряме порівняння з будь-якої метриці простору векторів ознак (наприклад, сумі різниці кожного елемента вектора) тестового зображення з зображеннями-шаблонами (template-matching);
3. Нейромережі (зазвичай для чорно-білих зображень) - на входи нейромережі подаються значення елементів вектора, на виходах формується сигнал, що класифікують об'єкт на зображенні;
4. Метод опорних векторів (support vector machines) - для розпізнавання зображень;
5. Моделювання багатовимірної функції розподілу векторів ознак зображень об'єкта, оцінка ймовірності приналежності тестового зображенню до змодельований розподіл (факторний аналіз, метод головних компонент, аналіз незалежних компонент, лінійний дискримінантний аналіз);
6. Деформуємі моделі;
Пряме подання чорно-білого зображення розміру m * n як вектор породжує простір розмірності m * n (яскравість кожного пікселя - значення елемента вектора в такому просторі). Тобто зображення порівняно невеликого дозволу (100x100) породжує простір розмірності 10,000. Працювати в такому просторі непросто, тому застосовуються різні методики зниження розмірності, наприклад метод головних компонент (principal components analysis, PCA)
Інші приклади характеристик (ознак) зображень, використовуваних для їх класифікації та розпізнавання:
1. Статистика розподілу кольорів (у різних виставах, в тому числі гістограма зображення);
2. Статистичні моменти (середнє, дисперсія, приховані Марківські моделі);

Кількість і властивості графічних примітивів у об'єкті (прямих ліній, кіл - для розпізнавання символів) (на основі перетворення Хафа)

2.1. Метод найменших квадратів

Перед тим, як починати розгляд МГУА, було б корисно згадати або дізнатися вперше метод найменших квадратів - найбільш поширений метод підстроювання лінійно залежних параметрів.
Розглянемо для прикладу МНК для трьох аргументів:
Нехай функція T = T (U, V, W) задана таблицею, тобто з досвіду відомі числа U _i, V _i, W _i, T _i (i = 1, ..., n). Будемо шукати залежність між цими даними у вигляді:
(Ф. SEQ ф._ \ * ARABIC 1)
де a, b, c - невідомі параметри.
Підберемо значення цих параметрів так, щоб була найменшою сума квадратів ухилень досвідчених даних T _i і теоретичних T _i = aU _i + bV _i + cW _i, тобто сума:
(Ф. SEQ ф._ \ * ARABIC 2)
Величина s є функцією трьох змінних a, b, c. Необхідною і достатньою умовою існування мінімуму цієї функції є рівність нулю приватних похідних функції s по всім змінним, тобто:
(Ф. SEQ ф._ \ * ARABIC 3)
Так як:
(Ф. SEQ ф._ \ * ARABIC 4)
то система для знаходження a, b, c буде мати вигляд:
(Ф. SEQ ф._ \ * ARABIC 5)
Дана система вирішується будь-яким стандартним методом вирішення систем лінійних рівнянь (Гаусса, Жордана, Зейделя, Крамера).
Розглянемо деякі практичні приклади перебування наближають функцій:
1. y = ax ² + bx + g
Завдання підбору коефіцієнтів a, b, g зводиться до вирішення загальної задачі при T = y, U = x ^2, V = x, W = 1, a = a, b = b, g = c.
2. f (x, y) = asin (x) + bcos (y) + g / x
Завдання підбору коефіцієнтів a, b, g зводиться до вирішення загальної задачі при T = f, U = sin (x), V = cos (y), W = 1 / x, a = a, b = b, g = c.
Якщо ми поширимо МНК на випадок з m параметрами,
(Ф. SEQ ф._ \ * ARABIC 6)
то шляхом міркувань, аналогічних наведеним вище, отримаємо наступну систему лінійних рівнянь:
(Ф. SEQ ф._ \ * ARABIC 7)

де,

2.2. Моделювання багатовимірної функції розподі

лення векторів ознак зображень об'єкта

Факторний Аналіз (FA)

Факторний аналіз (ФА), як і багато методів аналізу багатовимірних даних, спирається на гіпотезу про те, що спостережувані змінні є непрямими прояви відносно невеликого числа якихось прихованих чинників. ФА, таким чином, це сукупність моделей і методів орієнтованих на виявлення та аналіз прихованих (латентних) залежностей між спостережуваними змінними. У контексті завдань розпізнавання, спостережуваними змінними звичайно є ознаки об'єктів.
Моделі з латентними змінними застосовуються при вирішенні наступних завдань:
· Зниження розмірності простору ознак,
· Класифікація об'єктів на основі стисненого простору ознак,
· Непрямої оцінки ознак, що не піддаються безпосередньому виміру,
· Перетворення вихідних змінних до більш зручного для інтерпретації увазі.
Факторний аналіз використовує припущення про те, що вихідні спостережувані змінні (розподілені за нормальним законом!) X _i можуть бути представлені у вигляді лінійної комбінації факторів, також розподілених нормально:
x _i = Σ _{k = 1 .. m} (a _ik F _k) + u _i; i = 1 ,..., n;
У цій моделі присутні дві категорії факторів: загальні фактори (common factors) F _k і специфічні фактори (unique factors) u _i. Фактор називається загальним, якщо він робить вплив на дві і більше спостережувані змінні (математично це виражається в наявності як мінімум двох істотно відрізняються від нуля коефіцієнтів a _ik для даного чинника F _k). Кожен із специфічних факторів u _i несе інформацію тільки про одну змінну x _i. Матриця a _ik називається матрицею факторних навантажень (factor loadings) і задає вплив загальних факторів на спостережувані змінні.
Змістовно, специфічні фактори відповідають непоясненної загальними факторами мінливості набору спостережуваних змінних. Таким чином їх можна розглядати як випадкову помилку спостереження або шум, який не є цінною інформацією для виявлення прихованих закономірностей і залежностей. Важливим припущенням є незалежність u _i між собою. Зазвичай, однак не завжди, загальні фактори F _k передбачаються некоррелірованнимі (ортогональними).
Важливими поняттями ФА є спільність і специфічність спостерігається змінної. Мовою ФА частка дисперсії окремою змінною, що належить загальних факторів (і колективна з іншими змінними) називається спільністю, дисперсія ж припадає на специфічний фактор - специфічністю.
Метою ФА є виявлення загальних факторів F _k, специфічних факторів u _i і матриці факторних навантажень A таким чином, щоб знайдені загальні чинники пояснювали спостережувані дані найкращим чином, тобто щоб сумарна спільність змінних була максимальна (а відповідно специфічність - мінімальна).
Відмінність факторного аналізу (Factor Analysis, FA) від Методу Головних Компонент (Principal Components Analysis, PCA)
· Результатом ФА є модель, в явному вигляді описує залежність спостережуваних змінних від прихованих чинників (МГК це описовий аналіз даних, без отримання моделі);
· ФА передбачає помилку моделювання (специфічний фактор) для кожної з спостережуваних змінних, в той час як МГК намагається пояснити всю мінливість, включаючи шум, залежністю від головних компонент;
· У МГК головні компоненти є лінійними комбінаціями спостережуваних змінних. У ФА спостережувані змінні є лінійними комбінаціями загальних і специфічних чинників;
· Отримані в результаті ФА фактори можуть бути використані для інтерпретації спостережуваних даних;
· Головні компоненти некоррелірованні (що еквівалентно їх ортогональності при перенесенні початку координат у центр мас вихідного набору), фактори ж - не обов'язково;
· МГК можна розглядати як окремий випадок ФА, коли всі специфічні фактори прийняті рівними нулю, а загальні фактори ортогональні.

Метод головних компонент (PCA)

Метод головних компонент застосовується для зниження розмірності простору спостережуваних векторів, не приводячи до істотної втрати інформативності. Нехай дано початковий набір векторів лінійного простору R ^n. Застосування методу головних компонент дозволяє перейти до базису простору R ^n, такому що:
Перша компонента (перший вектор базису) відповідає напрямку, вздовж якого дисперсія векторів вихідного набору максимальна. Напрямок другий компоненти (другого вектора базису) вибрано таким чином, щоб дисперсія вихідних векторів уздовж нього була максимальною за умови ортогональності першого вектору базису. Аналогічно визначаються інші вектори базису.
У результаті, напрями векторів базису вибрані так, щоб максимізувати дисперсію вихідного набору вздовж перший компонент, званих головними компонентами (або головними осями). Виходить, що основна мінливість векторів вихідного набору векторів представлена ​​кількома першими компонентами, і з'являється можливість, відкинувши залишилися (менш істотні) компоненти, перейти до простору меншої розмірності.
Результатом застосування МГК є обчислення матриці W розміру mxn, що здійснює проекцію векторів простору R ⁿ на підпростір, натягнуте на головні компоненти:
y = W ^t (x - μ), y R ^m, x R ^n.
Де x - вектор з вихідного набору, y - координати вектора в підпросторі головних компонент, μ - середній вектор початкового набору.
Головні компоненти (вектори базису), які обираються за допомогою МГК, мають наступну властивість: зворотна проекція вектора y в R ⁿ дає мінімальну помилку реконструкції (мінімальна відстань до образу вектора y). Потрібно відзначити, що коректне застосування МГК можливо лише при припущенні про нормальний розподіл векторів вихідного набору.
У додатку до задачі класифікації з учителем МГК зазвичай застосовується таким чином. Після обчислення головних осей тренувального набору, вектор ознак тестового об'єкта проектується на підпростір, утворене головними осями. Обчислюються дві характеристики: відстань від проекції тестового вектора до середнього вектора тренувального набору - Distance in Feature Space (DIFS), і відстань від тестового вектора до його проекції в підпростір головних компонент - Distance From Feature Space (DFFS). Виходячи з цих характеристик виноситься рішення про приналежність тестового об'єкта класу, освіченій тренувальним набором.
Відмінність факторного аналізу (Factor Analysis, FA) від Методу Головних Компонент (Principal Components Analysis, PCA)
· Результатом ФА є модель, в явному вигляді описує залежність спостережуваних змінних від прихованих чинників (МГК це описовий аналіз даних, без отримання моделі);
· ФА передбачає помилку моделювання (специфічний фактор) для кожної з спостережуваних змінних, в той час як МГК намагається пояснити всю мінливість, включаючи шум, залежністю від головних компонент;