Лінійний множинний регресійний аналіз

МІНІСТЕРСТВО ОСВІТИ І НАУКИ УКРАЇНИ
ХЕРСОНСЬКИЙ НАЦІОНАЛЬНИЙ УНЕВЕРСІТЕТ
КАФЕДРА ЕКОНОМІЧНОЇ КІБЕРНЕТИКИ
Реферат
з дисципліни: "Методи аналізу даних"
на тему: "Лінійний множинний регресійний аналіз"
Виконав:
Студент гр. 4ЕК2
Приходько О.А.
Перевірив:
Викладач
Больова Г.А.
Херсон-2008

Зміст
1. Регресійний аналіз
2. Основи лінійного регресійного аналізу
3. Множинна лінійна регресія
4. Лінійний множинний регресійний аналіз

1. Регресійний аналіз
Якщо розрахунок кореляції характеризує щільність зв'язку між двома змінними, то регресійний аналіз служить для визначення виду цього зв'язку і дає можливість для прогнозування значення однієї (залежної) змінної відштовхуючись від значення іншої (незалежної) змінної. Для проведення лінійного регресійного аналізу залежна змінна повинна мати інтервальну (або порядкову) шкалу. У той же час, бінарна логістична регресія виявляє залежність дихотомічної змінної від якоїсь іншої змінної, що відноситься до будь-якої шкалою. Ті ж умови застосування справедливі і для пробитий-аналізу. Якщо залежна змінна є категоріальної, але має більше двох категорій, то тут підходящим методом буде мультиноміальний логістична регресія можна аналізувати і нелінійні зв'язки між змінними, які відносяться до інтервальної шкалою. Для цього призначений метод нелінійної регресії.
2. Основи лінійного регресійного аналізу
Розділ багатовимірного статистичного аналізу, присвячений відновленню залежностей, називається регресійним аналізом. Термін "лінійний регресійний аналіз" використовують, коли розглянута функція лінійно залежить від оцінюваних параметрів (від незалежних змінних залежність може бути довільною). Теорія оцінювання невідомих параметрів добре розвинена саме в разі лінійного регресійного аналізу. Якщо ж лінійності немає і не можна перейти до лінійної задачі, то, як правило, гарних властивостей від оцінок очікувати не доводиться. Продемонструємо підходи у разі залежностей різного виду. Якщо залежність має вигляд многочлена (полінома)

то коефіцієнти многочлена можуть бути знайдені шляхом мінімізації функції

Функція від t не обов'язково повинна бути многочленом. Можна, наприклад, додати періодичну складову, відповідну сезонним коливанням.
Добре відомо, наприклад, що інфляція (зростання споживчих цін) має чітко виражений річний цикл - у середньому ціни найшвидше зростає взимку, в грудні - січні, а найповільніше (іноді в середньому навіть падають) влітку, в липні - серпні.
Нехай для визначеності

тоді невідомі параметри можуть бути знайдені шляхом мінімізації функції

Нехай I (t) - індекс інфляції в момент t. Принцип стабільності умов призводить до гіпотези про сталість темпів зростання середніх цін, тобто індексу інфляції. Таким чином, природна модель для індексу інфляції - це

Ця модель не є лінійною, метод найменших квадратів безпосередньо застосовувати не можна. Однак якщо прологаріфміровать обидві частини попереднього рівності:

то отримаємо лінійну залежність, розглянуту в першому пункті цієї глави.
Незалежних змінних може бути не одна, а декілька. Нехай, наприклад, по вихідним даним потрібно оцінити невідомі параметри a і b в залежності

де - Похибка. Це можна зробити, мінімізувавши функцію

Залежність від х і у не обов'язково повинна бути лінійною. Припустимо, що з якихось міркувань відомо, що залежність повинна мати вигляд

тоді для оцінки п'яти параметрів необхідно мінімізувати функцію

Більш докладно розглянемо приклад з мікроекономіки. В одній з оптимізаційних моделей поведінки фірми використовується т.зв. виробнича функція f (K, L), що задає обсяг випуску залежно від витрат капіталу K і праці L. В якості конкретного виду виробничої функції часто використовується так звана функція Кобба-Дугласа

Однак звідки взяти значення параметрів і ? Природно припустити, що вони - одні й ті ж для підприємств галузі. Тому доцільно зібрати інформацію де f _k - Обсяг випуску на k-му підприємстві, _{K k} - обсяг витрат капіталу на k-му підприємстві, L _k - Обсяг витрат праці на k-му підприємстві (в короткому викладі тут не намагаємося дати точних визначень використовуваним поняттям з економіки підприємства). За зібраною інформацією природно спробувати оцінити параметри і . Але вони входять в залежність нелінійно, тому відразу застосувати метод найменших квадратів можна. Допомагає логарифмування:

Отже, доцільно зробити заміну змінних

а потім знаходити оцінки параметрів і , Мінімізуючи функцію

Знайдемо приватні похідні:

Прирівняємо приватні похідні до 0, скоротимо на 2, розкриємо дужки, перенесемо вільні члени вправо. Одержимо систему двох лінійних рівнянь з двома невідомими:


Таким чином, для обчислення оцінок методу найменших квадратів необхідно знайти п'ять сум:

Для впорядкування розрахунку цих сум може бути використана таблиця типу тієї, що застосовувалася в першому пункті цієї глави. Відзначимо, що розглянута там постановка переходить в розбираємося зараз при

Відповідна заміна змінних в багатьох випадках дозволяє перейти до лінійної залежності. Наприклад, якщо

то заміна z = 1 / y призводить до лінійної залежності z = a + bx. Якщо y = (a + bx) ^2, то заміна призводить до лінійної залежності z = a + bx.
3. Множинна лінійна регресія
У загальному випадку в регресійний аналіз залучаються кілька незалежних змінних. Це, звичайно ж, завдає шкоди наочності отриманих результатів, так як подібні множинні зв'язки в кінці кінців стає неможливо уявити графічно.
У випадку множинного регресійного аналізу йдеться необхідно оцінити коефіцієнти рівняння
у = b _{1-х 1} + b _{2-х 2} + ... + B _{n-х n} + а,
де n - кількість незалежних змінних, позначених як х ₁ і х _n, а - деяка константа.
Змінні, оголошені незалежними, можуть самі корелювати між собою; цей факт необхідно обов'язково враховувати при визначенні коефіцієнтів рівняння регресії для того, щоб уникнути помилкових кореляцій.

4. Лінійний множинний регресійний аналіз

У практиці часто виникають ситуації, коли функція відгуку (цілі) Y залежить не від одного, а від багатьох факторів. Встановлення форми зв'язку в таких випадках починають, як правило з розгляду лінійної регресії такого виду:

У такому випадку результати спостережень повинні бути представлені рівняннями, отриманими в кожному з п дослідів:
(1)
або у вигляді матриці результатів спостережень:

де п - кількість дослідів; k - кількість факторів.
Для вирішення системи рівнянь (1) необхідно, щоб кількість дослідів було не менше
k + 1, тобто п k + 1.
Завданням множинного регресійного аналізу є побудова такого рівняння прямої k-мірному просторі, відхилення результатів спостережень від якої були б мінімальними. Використовуючи для цього метод найменших квадратів, отримуємо систему нормальних рівнянь:

яку представимо в матричній формі
(Х ^Т Х) У = X ^T Y, (2)
де В - вектор-стовпець коефіцієнтів рівняння регресії;
X - матриця значень факторів;
Y - вектор-стовпець функції відкликання;
X ^Т - транспонована матриця X.
При = 1, , Вони відповідно рівні:


Перемноживши праву і ліву частину рівняння (2) на зворотну матрицю (Х ^Т Х) ^-1, отримаємо при:



Кожен коефіцієнт рівняння регресії обчислюється за формулою:

де - Елементи оберненої матриці (Х ^Т Х) ^-1.
Для перевірки значимості рівняння регресії необхідно при заданих значеннях ( ) Провести кілька експериментів, щоб отримати деяке середнє значення функції Y. У цьому випадку експериментальний матеріал видається, наприклад, у вигляді табл. 1.
Таблиця 1

№	Рівні факторів		Значення функції Y при паралельних дослідженнях			Досліджуване середнє значення
	x 1	x 2	y 1	y 2	y 3
1	1,0	0,2	18,2	18,6	18,7	18,5
2	2,0	0,4	21,6	23,4	23,7	22,9
3	2,5	0,3	22,0	23,0	22,5	22,5

Число паралельних досліджень повинно бути більше трьох .
Перевірка значущості рівняння регресії проводиться за F-критерієм. Для цього обчислюється залишкова дисперсія

і -Статистика

яка порівнюється з табличним значенням при рівні значимості α і числі ступенів свободи
k ₁ = п - 1, k ₂ = п - k - 1.
Гіпотеза про значимість рівняння регресії приймається за умови:

Значимість коефіцієнтів регресії перевіряється за t-критерієм.
Статистика порівнюється з табличним значенням при рівні значимості α і числі ступенів свободи
k ₁ = п - k - 1.
Похила коефіцієнта регресії:

де - Діагональний елемент матриці (Х ^Т Х) ^-1.
Довірчий інтервал для коефіцієнтів регресії визначається за формулою:

де В - значення коефіцієнта регресії в генеральній сукупності.

Список використаної літератури
1. Александров В.В., Алексєєв О.І., Горський Н.Д. Аналіз даних на ЕОМ (на прикладі системи СИТО). - М.: Фінанси і статистика, 1990.
2. Блюмин С.Л., Суханов В.Ф., Чеботарьов С.В. Економічний факторний аналіз: Монографія. - Липецьк: ЛЕГІ, 2004.
3. Рогальський Ф.Б., Курилович Я.Є., Цокуренка А.А. Математичні методи аналізу економічних систем. Книга 1. - К.: Наукова думка, 2001.
4. Рогальський Ф.Б., Цокуренка А.А. Математичні методи аналізу економічних систем. Книга 2. - К.: Наукова думка, 2001.