Регресійний аналіз

З метою найкращого відновлення по вихідним статистичним даними умовного значення результатірующего показника у (х) і невідомої функції регресії f (x) = M (y / x) найбільш часто використовують такі критерії адекватності (функції втрат). [7]
1. Метод найменших квадратів, згідно з яким мінімізується квадрат відхилення спостережуваних значень результативного показника yi (i = 1,2, ..., n) від модельних значень i = f (xi, b), де b = (b0, b1, ..., bk) - Коефіцієнти рівняння регресії, xi - значення вектора аргументів на i-му спостереженні:
.
Вирішується задача відшукання оцінки вектора b. Отримана регресія називається середньоквадратичної. За це іноді залежну змінну називають відгуком. Теорія регресійних рівнянь з випадковими незалежними змінними складніше, але відомо, що, при великій кількості спостережень, використання методу розробленого коректно. Для отримання оцінок коефіцієнтів регресії мінімізується сума квадратів помилок регресії. У пакеті обчислюються статистики, що дозволяють вирішити ці завдання. Чи існує лінійна регресійна залежність? Для перевірки одночасного відмінності всіх коефіцієнтів регресії від нуля проведемо аналіз квадратичного розкиду значень залежної змінної щодо середнього. Його можна розкласти на дві суми наступним чином. Статистика в умовах гіпотези рівності нулю регресійних коефіцієнтів має розподіл Фішера і, природно, за цією статистикою перевіряють, чи є коефіцієнти одночасно нульовими. Коефіцієнти детермінації і множинної кореляції. При порівнянні якості регресії, оціненої за різними залежним змінним, корисно дослідити частки поясненої і непоясненної дисперсії. Корінь з коефіцієнта детермінації називається коефіцієнтом кореляції. Слід мати на увазі, що є зміщеною оцінкою. Абсолютні значення коефіцієнтів не дозволяють зробити такий висновок.
2. Метод найменших модулів, згідно з яким мінімізується сума абсолютних відхилень спостережуваних значень результативного показника від модульних значень = F (xi, b), тобто
.
Отримана регресія називається среднеабсолютной (медіаною).
3. Метод Мінімакс зводиться до мінімізації максимуму модуля відхилення спостережуваного значення результативного показника yi від модельного значення f (xi, b), тобто
.
Отримана при цьому регресія називається мінімаксної. Розглянемо, що являє собою ця значимість. Позначимо коефіцієнт детермінації, отриманий при виключенні з правої частини рівняння змінної. При цьому ми отримаємо зменшення поясненої дисперсії, на величину. Для оцінки значущості включення змінної використовується статистика, що має розподіл Фішера при нульовому теоретичному прирості. Взагалі, якщо з рівняння регресії виключаються змінних, статистикою значущості виключення буде. Покрокова процедура побудови моделі. Основним критерієм відбору аргументів повинне бути якісне уявлення про фактори, що впливають на залежну змінну, яку ми намагаємося змоделювати. Дуже добре реалізований процес побудови регресійної моделі: на машину перекладена значна частка труднощів у вирішенні цього завдання. Можлива побудова послідовне побудова моделі додаванням і видаленням блоків змінних. Але ми розглянемо тільки роботу з окремими змінними. За замовчуванням програма включає всі задані змінні.
У практичних положеннях часто зустрічаються задачі, в яких вивчається випадкова величина у, що залежить від деякого безлічі змінних x1, x2, ..., хk і невідомих параметрів bj (j = 0,1,2, ..., k). Будемо розглядати (у, x1, x2, ..., хk) як
(K +1) - мірну генеральну сукупність, з якої взята випадкова вибірка обсягів n, де (уi, xi1, xi2, ..., xik) результат i-го спостереження i = 1,2, ..., n. Потрібно за результатами спостережень оцінити невідомі параметри bj (j = 0,1,2, ..., k). [4]
1.1. Функціональні і стохастичні зв'язку.
Між різними явищами і їх ознаками необхідно перш за все виділити 2 типу зв'язків: функціональну (жорстко детерміновану) і статистичну (стохастично детерміновану).
Відповідно до жорстко детерміністичних поданням про функціонування економічних систем необхідність і закономірність однозначно проявляються в кожному окремому явищі, тобто будь-яка дія викликає строго певний результат; випадковими (непередбаченими заздалегідь) впливами при цьому нехтують. Тому при заданих початкових умовах стан такої системи може бути визначено з імовірністю, рівною 1. Різновидом такої закономірності є функціональний зв'язок. Завдання регресійного аналізу полягає в побудові моделі, що дозволяє за значеннями незалежних показників отримувати оцінки значень залежної змінної. Регресійний аналіз є основним засобом дослідження залежностей між соціально-економічними змінними. Це завдання ми розглянемо в рамках найпоширенішою у статистичних пакетах класичної моделі лінійної регресії. Специфіка соціологічних досліджень полягає в тому, що дуже часто необхідно вивчати і передбачати соціальні події. Друга частина даної глави буде присвячена регресії, метою якої є побудова моделей, що пророчать імовірність подій. Величина називається помилкою регресії. Перші математичні результати, пов'язані з регресійним аналізом, зроблені у припущенні, що регресійна помилка розподілена нормально з параметрами, помилка для різних об'єктів вважаються незалежними. Крім того, в даній моделі ми розглядаємо змінні як невипадкові значення. Таке, на практиці, виходить, коли йде активний експеримент, в якому задають значення (наприклад, призначили зарплату працівнику), а потім вимірюють (оцінили, якою стала продуктивність праці).
Зв'язок ознаки у з ознакою х називається функціональною, якщо кожному можливому значенню незалежного ознаки x відповідає 1 або кілька суворо визначених значень залежного ознаки у. Визначення функціонального зв'язку може бути легко узагальнено для випадку багатьох ознак х1, х2 ... хn. Метод включення і виключення змінних полягає в наступному. З безлічі чинників, які розглядають дослідником як можливі аргументи регресійного рівняння, відбирається один, який найбільше пов'язаний кореляційною залежністю. Далі проводиться та ж процедура при двох обраних змінних, при трьох і т.д. Процедура повторюється до тих пір, поки в рівняння не будуть включені всі аргументи, виділені дослідником, що задовольняють критеріям значимості включення. Зауваження: щоб уникнути зациклення процесу включення виключення значимість включення встановлюється менше значущості винятку. Змінні, породжувані регресійним рівнянням. Збереження змінних, породжуваних регресією, проводиться підкомандами. Завдяки отриманим оцінками коефіцієнтів рівняння регресії можуть бути оцінені прогнозні значення залежної змінної, причому вони можуть бути обчислені і там, де значення визначені, і там де вони не визначені.
Характерною особливістю функціональних зв'язків є те, що в кожному окремому випадку відомий повний перелік факторів, що визначають значення залежного (результативного) ознаки, а також точний механізм їх впливу, виражений певним рівнянням.
Функціональну зв'язок можна представити рівнянням:
yi = Ä (xi),
де yi - результативний ознака (i = 1, ..., n);
f (xi) - відома функція зв'язку результативного і факторного ознак;
xi - факторний ознака. [11]
У реального суспільного життя з огляду на неповноти інформації жорстко детермінованої системи, може виникнути невизначеність, через яку ця система по своїй природі повинна розглядатися як імовірнісна, при цьому зв'язок між ознаками стає стахостіческой.
Стахостіческая зв'язок - це зв'язок між величинами, при якій одна з них, випадкова величина у, реагує на зміну іншої величини х або інших величин х1, х2 ... хn (випадкових або невипадкових) зміною закону розподілу. Це обумовлюється тим, що залежна змінна (результативна ознака), крім розглянутих незалежних, схильна до впливу ряду необлікованих або неконтрольованих (випадкових) чинників, а також деяких неминучих помилок вимірювання змінних. Оскільки значення залежної змінної схильні випадковому розкиду, вони не можуть бути передбачити з достатньою точністю, а тільки зазначені з певною ймовірністю.
Характерною особливістю стахостіческіх зв'язків є те, що вони проявляються у всій сукупності, а не в кожній її одиниці. Причому невідомий ні повний перелік факторів, що визначають значення результативної ознаки, ні точний механізм їх функціонування та взаємодії з результативним ознакою. Завжди має місце вплив випадкового. З'являються різні значення залежної змінної - реалізація випадкової величини. Однак при невеликій взаємозв'язку між змінними, якщо стандартизувати змінні та розрахувати рівняння регресії для стандартизованих змінних, то оцінки коефіцієнтів регресії дозволять по їх абсолютній величині судити про те, який аргумент в більшій мірі впливає на функцію. Стандартизація змінних. Бета коефіцієнти. Коефіцієнти в останньому рівнянні отримані при однакових масштабах зміни всіх змінних і порівняти. У разі взаємозв'язку між аргументами в правій частині рівняння можуть відбуватися дивні речі. Надійність і значимість коефіцієнта регресії. Тут позначений коефіцієнт детермінації, одержуваний при побудові рівняння регресії, в якому в якості залежної змінної взято іншу змінна. З виразу видно, що величина коефіцієнта тим хисткіші, чим сильніше змінна пов'язана з іншими змінними. Ця статистика має розподіл Стьюдента. У видачі пакета друкується спостерігається її двостороння значимість - ймовірність випадково при нульовому регресійному коефіцієнті отримати значення статистики, більша за абсолютною величиною, ніж вибіркове. Значимість включення змінної у регресію. При послідовному підборі змінних передбачена автоматизація, заснована на значимості включення і виключення змінних.
Модель стохастичного зв'язку може бути представлена ​​у загальному вигляді рівнянням:
ŷi = Ä (xi) + ei,
де ŷi - розрахункове значення результативної ознаки;
f (xi) - частина результативної ознаки, що сформувалася під впливом врахованих відомих факторних ознак (одного чи багатьох), що знаходяться в стахостіческой зв'язку з ознакою;
ei - частина результативної ознаки, що виникла в наслідок дії неконтрольованих чи неврахованих факторів, а також вимірювання ознак, неминуче супроводжується деякими випадковими помилками. За це іноді залежну змінну називають відгуком. Теорія регресійних рівнянь з випадковими незалежними змінними складніше, але відомо, що, при великій кількості спостережень, використання методу розробленого коректно. Для отримання оцінок коефіцієнтів регресії мінімізується сума квадратів помилок регресії. У пакеті обчислюються статистики, що дозволяють вирішити ці завдання. Чи існує лінійна регресійна залежність? Для перевірки одночасного відмінності всіх коефіцієнтів регресії від нуля проведемо аналіз квадратичного розкиду значень залежної змінної щодо середнього. Його можна розкласти на дві суми наступним чином. Статистика в умовах гіпотези рівності нулю регресійних коефіцієнтів має розподіл Фішера і, природно, за цією статистикою перевіряють, чи є коефіцієнти одночасно нульовими. Коефіцієнти детермінації і множинної кореляції. При порівнянні якості регресії, оціненої за різними залежним змінним, корисно дослідити частки поясненої і непоясненної дисперсії. Корінь з коефіцієнта детермінації називається коефіцієнтом кореляції. Слід мати на увазі, що є зміщеною оцінкою. Абсолютні значення коефіцієнтів не дозволяють зробити такий висновок.
Прояв стохастичних зв'язків схильне до дії закону великих чисел: лише в досить великому числі одиниць індивідуальні особливості згладяться, випадковості взаімопогасятся, і залежність, якщо вона має істотну силу, проявиться досить чітко. [6]
Кореляційний зв'язок існує там, де взаємопов'язані явища характеризуються лише випадковими величинами. При такого зв'язку середнє значення (математичне очікування) випадкової величини результативної ознаки у закономірно змінюється в залежності від зміни іншої величини х або інших випадкових величин х1, х2 ... хn. Кореляційний зв'язок проявляється не в кожному окремому випадку, а в усій сукупності в цілому. Тільки при досить великій кількості випадків кожному значенню випадкового ознаки х буде відповідати розподіл середніх значень випадкового ознаки у. Наявність кореляційних зв'язків притаманне багатьом суспільним явищам. Завдання регресійного аналізу полягає в побудові моделі, що дозволяє за значеннями незалежних показників отримувати оцінки значень залежної змінної. Регресійний аналіз є основним засобом дослідження залежностей між соціально-економічними змінними. Це завдання ми розглянемо в рамках найпоширенішою у статистичних пакетах класичної моделі лінійної регресії. Специфіка соціологічних досліджень полягає в тому, що дуже часто необхідно вивчати і передбачати соціальні події. Друга частина даної глави буде присвячена регресії, метою якої є побудова моделей, що пророчать імовірність подій. Величина називається помилкою регресії. Перші математичні результати, пов'язані з регресійним аналізом, зроблені у припущенні, що регресійна помилка розподілена нормально з параметрами, помилка для різних об'єктів вважаються незалежними. Крім того, в даній моделі ми розглядаємо змінні як невипадкові значення. Таке, на практиці, виходить, коли йде активний експеримент, в якому задають значення (наприклад, призначили зарплату працівнику), а потім вимірюють (оцінили, якою стала продуктивність праці).
Кореляційний зв'язок - поняття більш вузьке, ніж стохастична зв'язок. Остання може відображатися не тільки в зміні середньої величини, але і в варіації однієї ознаки в залежності від іншого, тобто будь-який інший характеристики варіації. Таким чином, кореляційний зв'язок є окремим випадком стохастичного зв'язку.
Прямі і зворотні зв'язки. У залежності від напрямку дії, функціональні та стахостіческіе зв'язку можуть бути прямі і зворотні. При прямій зв'язку напрям зміни результативної ознаки збігається з напрямком зміни ознаки-фактора, тобто із збільшенням факторної ознаки збільшується і результативний, і, навпаки, із зменшенням факторної ознаки зменшується і результативний ознака. В іншому випадку між розглянутими величинами існують зворотні зв'язки. Наприклад, чим вища кваліфікація робітника (розряд), тим вище рівень продуктивності праці - прямий зв'язок. А чим вища продуктивність праці, тим нижча собівартість одиниці продукції - зворотний зв'язок. Розглянемо, що являє собою ця значимість. Позначимо коефіцієнт детермінації, отриманий при виключенні з правої частини рівняння змінної. При цьому ми отримаємо зменшення поясненої дисперсії, на величину. Для оцінки значущості включення змінної використовується статистика, що має розподіл Фішера при нульовому теоретичному прирості. Взагалі, якщо з рівняння регресії виключаються змінних, статистикою значущості виключення буде. Покрокова процедура побудови моделі. Основним критерієм відбору аргументів повинне бути якісне уявлення про фактори, що впливають на залежну змінну, яку ми намагаємося змоделювати. Дуже добре реалізований процес побудови регресійної моделі: на машину перекладена значна частка труднощів у вирішенні цього завдання. Можлива побудова послідовне побудова моделі додаванням і видаленням блоків змінних. Але ми розглянемо тільки роботу з окремими змінними. За замовчуванням програма включає всі задані змінні.
Прямолінійні і криволінійні зв'язку. За аналітичного вираженню (формі) зв'язку можуть бути прямолінійними і криволінійними. При прямолінійній зв'язку зі зростанням значення факторного ознаки відбувається безперервне зростання (або убування) значень результативної ознаки. Математично така зв'язок представляється рівнянням прямої, а графічно - прямою лінією. Звідси її більш коротку назву - лінійна зв'язок. При криволінійних зв'язках зі зростанням значення факторного ознаки зростання (або убування) результативного ознаки відбувається нерівномірно, або ж напрям його зміни змінюється на протилежне. Геометрично такі зв'язки представляються кривими лініями (гіперболою, параболою і т.д.).
Однофакторні і багатофакторні зв'язку. За кількістю чинників, діючих на результативний ознака, зв'язку різняться: однофакторні (один чинник) і багатофакторні (два і більше факторів). Однофакторні (прості) зв'язку зазвичай називаються парними (тому що розглядається пара ознак). Наприклад, кореляційний зв'язок між прибутком і продуктивністю праці. У випадку багатофакторної (множинної) зв'язку мають на увазі, що всі фактори діють комплексно, тобто одночасно і у взаємозв'язку. Наприклад, кореляційний зв'язок між продуктивністю праці і рівнем організації праці, автоматизації виробництва, кваліфікації робітників, виробничим стажем, простоями та іншими факторними ознаками. За допомогою множинної кореляції можна охопити весь комплекс факторних ознак і об'єктивно відобразити існуючі множинні зв'язки. Метод включення і виключення змінних полягає в наступному. З безлічі чинників, які розглядають дослідником як можливі аргументи регресійного рівняння, відбирається один, який найбільше пов'язаний кореляційною залежністю. Далі проводиться та ж процедура при двох обраних змінних, при трьох і т.д. Процедура повторюється до тих пір, поки в рівняння не будуть включені всі аргументи, виділені дослідником, що задовольняють критеріям значимості включення. Зауваження: щоб уникнути зациклення процесу включення виключення значимість включення встановлюється менше значущості винятку. Змінні, породжувані регресійним рівнянням. Збереження змінних, породжуваних регресією, проводиться підкомандами. Завдяки отриманим оцінками коефіцієнтів рівняння регресії можуть бути оцінені прогнозні значення залежної змінної, причому вони можуть бути обчислені і там, де значення визначені, і там де вони не визначені.
1.2. Статистичні методи моделювання зв'язку.
Для дослідження стохастичних зв'язків широко використовується метод зіставлення двох паралельних рядів, метод аналітичних угруповань, кореляційний аналіз, регресійний аналіз і деякі непараметричні методи. [1]
Метод зіставлення двох паралельних рядів є одним з найпростіших методів. Для цього фактори, що характеризують результативний ознака розташовують у зростаючому або спадаючому порядку (в залежності від еволюції процесу мети дослідження), а потім простежують зміну величини результативної ознаки. Зіставлення й аналіз розташованих таким чином рядів значень досліджуваних величин дозволяють встановити наявність зв'язку та її спрямування. Залежність між факторами і показниками може простежуватися в часі (паралельні динамічні ряди). Однак при невеликій взаємозв'язку між змінними, якщо стандартизувати змінні та розрахувати рівняння регресії для стандартизованих змінних, то оцінки коефіцієнтів регресії дозволять по їх абсолютній величині судити про те, який аргумент в більшій мірі впливає на функцію. Стандартизація змінних. Бета коефіцієнти. Коефіцієнти в останньому рівнянні отримані при однакових масштабах зміни всіх змінних і порівняти. У разі взаємозв'язку між аргументами в правій частині рівняння можуть відбуватися дивні речі. Надійність і значимість коефіцієнта регресії. Тут позначений коефіцієнт детермінації, одержуваний при побудові рівняння регресії, в якому в якості залежної змінної взято іншу змінна. З виразу видно, що величина коефіцієнта тим хисткіші, чим сильніше змінна пов'язана з іншими змінними. Ця статистика має розподіл Стьюдента. У видачі пакета друкується спостерігається її двостороння значимість - ймовірність випадково при нульовому регресійному коефіцієнті отримати значення статистики, більша за абсолютною величиною, ніж вибіркове. Значимість включення змінної у регресію. При послідовному підборі змінних передбачена автоматизація, заснована на значимості включення і виключення змінних.
Метод аналітичних групувань теж відноситься до простих методів. Щоб виявити залежність за допомогою цього методу, потрібно Неунікальна одиниць сукупності по факторному ознакою і для кожної групи обчислити середню або відносне значення результативної ознаки. Зіставляючи потім зміни результативної ознаки в міру зміни факторного можна виявити напрямок, характер і тісноту зв'язку між ними. Завдання регресійного аналізу полягає в побудові моделі, що дозволяє за значеннями незалежних показників отримувати оцінки значень залежної змінної. Регресійний аналіз є основним засобом дослідження залежностей між соціально-економічними змінними. Це завдання ми розглянемо в рамках найпоширенішою у статистичних пакетах класичної моделі лінійної регресії. Специфіка соціологічних досліджень полягає в тому, що дуже часто необхідно вивчати і передбачати соціальні події. Друга частина даної глави буде присвячена регресії, метою якої є побудова моделей, що пророчать імовірність подій. Величина називається помилкою регресії. Перші математичні результати, пов'язані з регресійним аналізом, зроблені у припущенні, що регресійна помилка розподілена нормально з параметрами, помилка для різних об'єктів вважаються незалежними. Крім того, в даній моделі ми розглядаємо змінні як невипадкові значення. Таке, на практиці, виходить, коли йде активний експеримент, в якому задають значення (наприклад, призначили зарплату працівнику), а потім вимірюють (оцінили, якою стала продуктивність праці).
У загальному вигляді завдання статистики в області вивчення взаємозв'язків полягає не тільки в кількісній оцінці їх наявності, напрямку і сили зв'язку, а й у визначенні форми (аналітичного вираження) впливу факторних ознак на результативний. За це іноді залежну змінну називають відгуком. Теорія регресійних рівнянь з випадковими незалежними змінними складніше, але відомо, що, при великій кількості спостережень, використання методу розробленого коректно. Для отримання оцінок коефіцієнтів регресії мінімізується сума квадратів помилок регресії. У пакеті обчислюються статистики, що дозволяють вирішити ці завдання. Чи існує лінійна регресійна залежність? Для перевірки одночасного відмінності всіх коефіцієнтів регресії від нуля проведемо аналіз квадратичного розкиду значень залежної змінної щодо середнього. Його можна розкласти на дві суми наступним чином. Статистика в умовах гіпотези рівності нулю регресійних коефіцієнтів має розподіл Фішера і, природно, за цією статистикою перевіряють, чи є коефіцієнти одночасно нульовими. Коефіцієнти детермінації і множинної кореляції. При порівнянні якості регресії, оціненої за різними залежним змінним, корисно дослідити частки поясненої і непоясненної дисперсії. Корінь з коефіцієнта детермінації називається коефіцієнтом кореляції. Слід мати на увазі, що є зміщеною оцінкою. Абсолютні значення коефіцієнтів не дозволяють зробити такий висновок.
1.3. Статистичне моделювання зв'язку методом кореляційного та регресійного аналізу.
Завдання кореляційного аналізу зводяться до вимірювання тісноти відомої зв'язку між варьирующими ознаками, визначенню невідомих причинних зв'язків (причинний характер яких має бути з'ясований за допомогою теоретичного аналізу) та оцінки факторів, що роблять найбільший вплив на результативну ознаку. [4]
Завданнями регресійного аналізу є вибір типу моделі (форми зв'язку), встановлення ступеня впливу незалежних змінних на залежну і визначення розрахункових значень залежної змінної (функції регресії). Завдання регресійного аналізу полягає в побудові моделі, що дозволяє за значеннями незалежних показників отримувати оцінки значень залежної змінної. Регресійний аналіз є основним засобом дослідження залежностей між соціально-економічними змінними. Це завдання ми розглянемо в рамках найпоширенішою у статистичних пакетах класичної моделі лінійної регресії. Специфіка соціологічних досліджень полягає в тому, що дуже часто необхідно вивчати і передбачати соціальні події. Друга частина даної глави буде присвячена регресії, метою якої є побудова моделей, що пророчать імовірність подій. Величина називається помилкою регресії. Перші математичні результати, пов'язані з регресійним аналізом, зроблені у припущенні, що регресійна помилка розподілена нормально з параметрами, помилка для різних об'єктів вважаються незалежними. Крім того, в даній моделі ми розглядаємо змінні як невипадкові значення. Таке, на практиці, виходить, коли йде активний експеримент, в якому задають значення (наприклад, призначили зарплату працівнику), а потім вимірюють (оцінили, якою стала продуктивність праці).
Вирішення всіх названих завдань приводить до необхідності комплексного використання цих методів. Розглянемо, що являє собою ця значимість. Позначимо коефіцієнт детермінації, отриманий при виключенні з правої частини рівняння змінної. При цьому ми отримаємо зменшення поясненої дисперсії, на величину. Для оцінки значущості включення змінної використовується статистика, що має розподіл Фішера при нульовому теоретичному прирості. Взагалі, якщо з рівняння регресії виключаються змінних, статистикою значущості виключення буде. Покрокова процедура побудови моделі. Основним критерієм відбору аргументів повинне бути якісне уявлення про фактори, що впливають на залежну змінну, яку ми намагаємося змоделювати. Дуже добре реалізований процес побудови регресійної моделі: на машину перекладена значна частка труднощів у вирішенні цього завдання. Можлива побудова послідовне побудова моделі додаванням і видаленням блоків змінних. Але ми розглянемо тільки роботу з окремими змінними. За замовчуванням програма включає всі задані змінні.
Кореляційний і регресійний аналіз. Дослідження зв'язків в умовах масового спостереження та дії випадкових факторів здійснюється, як правило, за допомогою економіко-статистичних моделей. У широкому сенсі модель - це аналог, умовний образ (зображення, опис, схема, креслення тощо) будь-якого об'єкта, процесу або події, наближено відтворює «оригінал». Модель являє собою логічне або математичний опис компонентів і функцій, що відображають істотні властивості модельованого об'єкта або процесу, дає можливість встановити основні закономірності зміни оригіналу. У моделі оперують показниками, обчисленими для якісно однорідних масових явищ (сукупностей). Вираз і моделі у вигляді функціональних рівнянь використовують для розрахунку середніх значень модельованого показника по набору заданих величин і для виявлення ступеня впливу на нього окремих факторів. Метод включення і виключення змінних полягає в наступному. З безлічі чинників, які розглядають дослідником як можливі аргументи регресійного рівняння, відбирається один, який найбільше пов'язаний кореляційною залежністю. Далі проводиться та ж процедура при двох обраних змінних, при трьох і т.д. Процедура повторюється до тих пір, поки в рівняння не будуть включені всі аргументи, виділені дослідником, що задовольняють критеріям значимості включення. Зауваження: щоб уникнути зациклення процесу включення виключення значимість включення встановлюється менше значущості винятку. Змінні, породжувані регресійним рівнянням. Збереження змінних, породжуваних регресією, проводиться підкомандами. Завдяки отриманим оцінками коефіцієнтів рівняння регресії можуть бути оцінені прогнозні значення залежної змінної, причому вони можуть бути обчислені і там, де значення визначені, і там де вони не визначені.
За кількістю включаються факторів моделі можуть бути однофакторний і багатофакторними (два і більше факторів).
У залежності від пізнавальної мети статистичні моделі поділяються на структурні, динамічні і моделі зв'язку.
Двомірна лінійна модель кореляційного і регресійного аналізу (однофакторний лінійний кореляційний та регресійний аналіз). Найбільш розробленою в теорії статистики є методологія так званої парної кореляції, яка розглядає вплив варіації факторного аналізу х на результативну ознаку в і представляє собою однофакторний кореляційний та регресійний аналіз. Оволодіння теорією і практикою побудови та аналізу двомірної моделі кореляційного та регресійного аналізу є вихідну основу для вивчення багатофакторних стохастичних зв'язків. Однак при невеликій взаємозв'язку між змінними, якщо стандартизувати змінні та розрахувати рівняння регресії для стандартизованих змінних, то оцінки коефіцієнтів регресії дозволять по їх абсолютній величині судити про те, який аргумент в більшій мірі впливає на функцію. Стандартизація змінних. Бета коефіцієнти. Коефіцієнти в останньому рівнянні отримані при однакових масштабах зміни всіх змінних і порівняти. У разі взаємозв'язку між аргументами в правій частині рівняння можуть відбуватися дивні речі. Надійність і значимість коефіцієнта регресії. Тут позначений коефіцієнт детермінації, одержуваний при побудові рівняння регресії, в якому в якості залежної змінної взято іншу змінна. З виразу видно, що величина коефіцієнта тим хисткіші, чим сильніше змінна пов'язана з іншими змінними. Ця статистика має розподіл Стьюдента. У видачі пакета друкується спостерігається її двостороння значимість - ймовірність випадково при нульовому регресійному коефіцієнті отримати значення статистики, більша за абсолютною величиною, ніж вибіркове. Значимість включення змінної у регресію. При послідовному підборі змінних передбачена автоматизація, заснована на значимості включення і виключення змінних.
Найважливішим етапом побудови регресійної моделі (рівняння регресії) є встановлення в аналізі вихідної інформації математичної функції. Складність полягає в тому, що з безлічі функцій необхідно знайти таку, яка краще за інших виражає реально існуючі зв'язки між аналізованими признаками. Вибір типів функції може спиратися на теоретичні знання про досліджуваному явищі, опеньків попередніх аналогічних досліджень, або здійснюватися емпірично - перебором і оцінкою функцій різних типів і т.п. [10]
При вивченні зв'язку економічних показників виробництва (діяльності) використовують різного виду рівняння прямолінійної і криволінійної зв'язку. Увага до лінійних зв'язків пояснюється обмеженою варіацією змінних і тим, що в більшості випадків нелінійні форми зв'язку для виконання розрахунків перетворять (шляхом логарифмування або заміни змінних) в лінійну форму. Рівняння однофакторний (парної) лінійної кореляційної зв'язку має вигляд:
ŷ = a0 + a1x,
де ŷ - теоретичні значення результативної ознаки, отримані за рівнянням регресії;
a0, a1 - коефіцієнти (параметри) рівняння регресії. Завдання регресійного аналізу полягає в побудові моделі, що дозволяє за значеннями незалежних показників отримувати оцінки значень залежної змінної. Регресійний аналіз є основним засобом дослідження залежностей між соціально-економічними змінними. Це завдання ми розглянемо в рамках найпоширенішою у статистичних пакетах класичної моделі лінійної регресії. Специфіка соціологічних досліджень полягає в тому, що дуже часто необхідно вивчати і передбачати соціальні події. Друга частина даної глави буде присвячена регресії, метою якої є побудова моделей, що пророчать імовірність подій. Величина називається помилкою регресії. Перші математичні результати, пов'язані з регресійним аналізом, зроблені у припущенні, що регресійна помилка розподілена нормально з параметрами, помилка для різних об'єктів вважаються незалежними. Крім того, в даній моделі ми розглядаємо змінні як невипадкові значення. Таке, на практиці, виходить, коли йде активний експеримент, в якому задають значення (наприклад, призначили зарплату працівнику), а потім вимірюють (оцінили, якою стала продуктивність праці).
Оскільки a0 є середнім значенням у в точці х = 0, економічна інтерпретація часто утруднена або взагалі неможлива. За це іноді залежну змінну називають відгуком. Теорія регресійних рівнянь з випадковими незалежними змінними складніше, але відомо, що, при великій кількості спостережень, використання методу розробленого коректно. Для отримання оцінок коефіцієнтів регресії мінімізується сума квадратів помилок регресії. У пакеті обчислюються статистики, що дозволяють вирішити ці завдання. Чи існує лінійна регресійна залежність? Для перевірки одночасного відмінності всіх коефіцієнтів регресії від нуля проведемо аналіз квадратичного розкиду значень залежної змінної щодо середнього. Його можна розкласти на дві суми наступним чином. Статистика в умовах гіпотези рівності нулю регресійних коефіцієнтів має розподіл Фішера і, природно, за цією статистикою перевіряють, чи є коефіцієнти одночасно нульовими. Коефіцієнти детермінації і множинної кореляції. При порівнянні якості регресії, оціненої за різними залежним змінним, корисно дослідити частки поясненої і непоясненної дисперсії. Корінь з коефіцієнта детермінації називається коефіцієнтом кореляції. Слід мати на увазі, що є зміщеною оцінкою. Абсолютні значення коефіцієнтів не дозволяють зробити такий висновок.
Коефіцієнт парної лінійної регресії a1 має сенс показника сили зв'язку між варіацією факторної ознаки х і варіацією результативної ознаки у. Наведене вище рівняння показує середнє значення зміни результативної ознаки у при зміні факторної ознаки х на одну одиницю його виміру, тобто варіацію у, що припадає на одиницю варіації х. Знак a1 вказує напрямок цієї зміни.
Параметри рівняння a0, a1 знаходять методом найменших квадратів (метод розв'язання систем рівнянь, при якому як рішення приймається точка мінімуму суми квадратів відхилень), тобто в основу цього методу покладено вимога мінімальності сум квадратів відхилень емпіричних даних yi від вирівняних ŷ:
S (yi - ŷ) 2 = S (yi - a0 - a1xi) 2 ® min [9]
Для знаходження мінімуму даної функції прирівняємо до нуля її частинні похідні і отримаємо систему двох лінійних рівнянь, яка називається системою нормальних рівнянь:

.

Вирішимо цю систему в загальному вигляді:



Параметри рівняння парної лінійної регресії іноді зручно обчислювати за наступними формулами, що дає той же результат:

Визначивши значення a0, a1 і підставивши їх у рівняння зв'язку ŷ = a0 + a1x, знаходимо значення ŷ, що залежать тільки від заданого значення х.
Розглянемо побудову однофакторного рівняння регресії залежності працюючих активів у від капіталу х (див. таблиця 1). Розглянемо, що являє собою ця значимість. Позначимо коефіцієнт детермінації, отриманий при виключенні з правої частини рівняння змінної. При цьому ми отримаємо зменшення поясненої дисперсії, на величину. Для оцінки значущості включення змінної використовується статистика, що має розподіл Фішера при нульовому теоретичному прирості. Взагалі, якщо з рівняння регресії виключаються змінних, статистикою значущості виключення буде. Покрокова процедура побудови моделі. Основним критерієм відбору аргументів повинне бути якісне уявлення про фактори, що впливають на залежну змінну, яку ми намагаємося змоделювати. Дуже добре реалізований процес побудови регресійної моделі: на машину перекладена значна частка труднощів у вирішенні цього завдання. Можлива побудова послідовне побудова моделі додаванням і видаленням блоків змінних. Але ми розглянемо тільки роботу з окремими змінними. За замовчуванням програма включає всі задані змінні.
Тут представлені показники 32 банків: розмір капіталу і працюючих активів. Переді мною стоїть завдання визначити, чи є залежність між цими двома ознаками і, якщо вона існує, визначити форму цієї залежності, тобто рівняння регресії.
За факторний ознака я взяла розмір капіталу банку, а за результативний ознака - працюючі активи. [11]
Зіставлення даних паралельних рядів ознак х і у показує, що з спадання ознаки x (капітал), в більшості випадків убуває і ознака у (працюючі активи). Завдання регресійного аналізу полягає в побудові моделі, що дозволяє за значеннями незалежних показників отримувати оцінки значень залежної змінної. Регресійний аналіз є основним засобом дослідження залежностей між соціально-економічними змінними. Це завдання ми розглянемо в рамках найпоширенішою у статистичних пакетах класичної моделі лінійної регресії. Специфіка соціологічних досліджень полягає в тому, що дуже часто необхідно вивчати і передбачати соціальні події. Друга частина даної глави буде присвячена регресії, метою якої є побудова моделей, що пророчать імовірність подій. Величина називається помилкою регресії. Перші математичні результати, пов'язані з регресійним аналізом, зроблені у припущенні, що регресійна помилка розподілена нормально з параметрами, помилка для різних об'єктів вважаються незалежними. Крім того, в даній моделі ми розглядаємо змінні як невипадкові значення. Таке, на практиці, виходить, коли йде активний експеримент, в якому задають значення (наприклад, призначили зарплату працівнику), а потім вимірюють (оцінили, якою стала продуктивність праці).
Отже, можна припустити, що між х і у існує пряма залежність, нехай неповна, але виражена досить чітко.
Для уточнення форми зв'язку між розглянутими ознаками я використовувала графічний метод. Я наніс на графік точки, що відповідають значенням х і у, і отримала кореляційне поле (див. графік 1). Метод включення і виключення змінних полягає в наступному. З безлічі чинників, які розглядають дослідником як можливі аргументи регресійного рівняння, відбирається один, який найбільше пов'язаний кореляційною залежністю. Далі проводиться та ж процедура при двох обраних змінних, при трьох і т.д. Процедура повторюється до тих пір, поки в рівняння не будуть включені всі аргументи, виділені дослідником, що задовольняють критеріям значимості включення. Зауваження: щоб уникнути зациклення процесу включення виключення значимість включення встановлюється менше значущості винятку. Змінні, породжувані регресійним рівнянням. Збереження змінних, породжуваних регресією, проводиться підкомандами. Завдяки отриманим оцінками коефіцієнтів рівняння регресії можуть бути оцінені прогнозні значення залежної змінної, причому вони можуть бути обчислені і там, де значення визначені, і там де вони не визначені.
Аналізуючи поле кореляції, можна припустити, що зростання ознаки у йде пропорційно ознакою х. В основі цієї залежності лежить прямолінійна зв'язок, яка може бути виражена простою лінійним рівнянням регресії:

ŷ = a0 + a1x,
де ŷ - теоретичні розрахункові значення результативної ознаки (працюючі активи), отримані за рівнянням регресії;
a0, a1 - коефіцієнти (параметри) рівняння регресії;
х - капітал досліджуваних банків.
Користуючись вищевказаними формулами для обчислення параметрів лінійного рівняння регресії і розрахунковими значеннями з таблиці 1, отримуємо:

Отже, регресійна модель залежності працюючих активів від капіталу банків може бути записана у вигляді конкретного простого рівняння регресії:
. [4]
Це рівняння характеризує залежність працюючих активів від капіталу банку. Розрахункові значення ŷ, знайдені по цьому рівнянню, наведені в таблиці 1. Правильність розрахунку параметрів рівняння регресії може бути перевірена порівнювання сум Σу = Σŷ. У моєму випадку ці суми рівні. Однак при невеликій взаємозв'язку між змінними, якщо стандартизувати змінні та розрахувати рівняння регресії для стандартизованих змінних, то оцінки коефіцієнтів регресії дозволять по їх абсолютній величині судити про те, який аргумент в більшій мірі впливає на функцію. Стандартизація змінних. Бета коефіцієнти. Коефіцієнти в останньому рівнянні отримані при однакових масштабах зміни всіх змінних і порівняти. У разі взаємозв'язку між аргументами в правій частині рівняння можуть відбуватися дивні речі. Надійність і значимість коефіцієнта регресії. Тут позначений коефіцієнт детермінації, одержуваний при побудові рівняння регресії, в якому в якості залежної змінної взято іншу змінна. З виразу видно, що величина коефіцієнта тим хисткіші, чим сильніше змінна пов'язана з іншими змінними. Ця статистика має розподіл Стьюдента. У видачі пакета друкується спостерігається її двостороння значимість - ймовірність випадково при нульовому регресійному коефіцієнті отримати значення статистики, більша за абсолютною величиною, ніж вибіркове. Значимість включення змінної у регресію. При послідовному підборі змінних передбачена автоматизація, заснована на значимості включення і виключення змінних.
Але для того, щоб застосувати мою формулу, треба розрахувати, наскільки вона наближена до реальності, тобто перевірити її адекватність.
2. Перевірка адекватності регресійної моделі.
Для практичного використання моделей регресії велике значення має їх адекватність, тобто відповідність фактичним статистичними даними.
Кореляційний і регресійний аналіз звичайно (особливо в умовах так званого малого та середнього бізнесу) проводиться для обмеженої за обсягом сукупності. Тому показники регресії і кореляції - параметри рівняння регресії, коефіцієнти кореляції і детермінації можуть бути перекручені дією випадкових факторів. Щоб перевірити, наскільки ці показники характерні для всієї генеральної сукупності, чи не є вони результатом збігу випадкових обставин, необхідно перевірити адекватність побудованих статистичних моделей.
При чисельності об'єктів аналізу до 30 одиниць виникає необхідність перевірки значимості (суттєвості) кожного коефіцієнта регресії. При цьому з'ясовують наскільки обчислені параметри характерні для відображення комплексу умов: чи не є отримані значення параметрів результатами дії випадкових причин. Завдання регресійного аналізу полягає в побудові моделі, що дозволяє за значеннями незалежних показників отримувати оцінки значень залежної змінної. Регресійний аналіз є основним засобом дослідження залежностей між соціально-економічними змінними. Це завдання ми розглянемо в рамках найпоширенішою у статистичних пакетах класичної моделі лінійної регресії. Специфіка соціологічних досліджень полягає в тому, що дуже часто необхідно вивчати і передбачати соціальні події. Друга частина даної глави буде присвячена регресії, метою якої є побудова моделей, що пророчать імовірність подій. Величина називається помилкою регресії. Перші математичні результати, пов'язані з регресійним аналізом, зроблені у припущенні, що регресійна помилка розподілена нормально з параметрами, помилка для різних об'єктів вважаються незалежними. Крім того, в даній моделі ми розглядаємо змінні як невипадкові значення. Таке, на практиці, виходить, коли йде активний експеримент, в якому задають значення (наприклад, призначили зарплату працівнику), а потім вимірюють (оцінили, якою стала продуктивність праці).

Значимість коефіцієнтів простої лінійної регресії (стосовно совокупностям, у яких n <30) здійснюють за допомогою t-критерію Стьюдента. При цьому обчислюють розрахункові (фактичні) значення t-критерію

для параметра a0:

для параметра a1:
де n - обсяг вибірки;
- Середнє квадратичне відхилення результативної ознаки від вирівняних значень ŷ;
або
- Середнє квадратичне відхилення факторної ознаки x від загальної середньої . [8]
Обчислені за вищенаведеними формулами значення порівнюють з критичними t, які визначають за таблицею Стьюдента з урахуванням прийнятого рівня значимості α і числом ступенів свободи варіації . У соціально-економічних дослідженнях рівень значимості α зазвичай приймають рівним 0,05. Параметр визнається значущим (істотним) за умови, якщо tрасч> tтабл. У такому випадку практично неймовірно, що знайдені значення параметрів обумовлені тільки випадковими збігами. За це іноді залежну змінну називають відгуком. Теорія регресійних рівнянь з випадковими незалежними змінними складніше, але відомо, що, при великій кількості спостережень, використання методу розробленого коректно. Для отримання оцінок коефіцієнтів регресії мінімізується сума квадратів помилок регресії. У пакеті обчислюються статистики, що дозволяють вирішити ці завдання. Чи існує лінійна регресійна залежність? Для перевірки одночасного відмінності всіх коефіцієнтів регресії від нуля проведемо аналіз квадратичного розкиду значень залежної змінної щодо середнього. Його можна розкласти на дві суми наступним чином. Статистика в умовах гіпотези рівності нулю регресійних коефіцієнтів має розподіл Фішера і, природно, за цією статистикою перевіряють, чи є коефіцієнти одночасно нульовими. Коефіцієнти детермінації і множинної кореляції. При порівнянні якості регресії, оціненої за різними залежним змінним, корисно дослідити частки поясненої і непоясненної дисперсії. Корінь з коефіцієнта детермінації називається коефіцієнтом кореляції. Слід мати на увазі, що є зміщеною оцінкою. Абсолютні значення коефіцієнтів не дозволяють зробити такий висновок.

Тепер я розрахував t-критерій Стьюдента для моєї моделі регресії.
- Це середні квадратичні відхилення.


Розрахункові значення t-критерію Стьюдента:
По таблиці розподілу Стьюдента я знаходжу критичне значення t-критерію для ν = 32-2 = 30. Імовірність α я приймаю 0,05. tтабл одно 2,042. Так як, обидва значення ta0 і ta1 більше tтабл, то обидва параметри а0 і а1 визнаються значимими і відхиляється гіпотеза про те, що кожен з цих параметрів насправді дорівнює 0, і лише в силу випадкових обставин виявився рівним перевіряється величиною.
Перевірка адекватності регресійної моделі може бути доповнена кореляційним аналізом. Для цього необхідно визначити тісноту кореляційного зв'язку між змінними х та у. Тіснота кореляційного зв'язку, як і будь-який інший, може бути виміряна емпіричним кореляційним відношенням ηе, коли δ2 (міжгрупова дисперсія) характеризує відхилення групових середніх результативної ознаки від загальної середньої: .
Говорячи про кореляційному відношенні як про показник вимірювання тісноти залежності, слід відрізняти від емпіричного кореляційного відносини - теоретичне. Розглянемо, що являє собою ця значимість. Позначимо коефіцієнт детермінації, отриманий при виключенні з правої частини рівняння змінної. При цьому ми отримаємо зменшення поясненої дисперсії, на величину. Для оцінки значущості включення змінної використовується статистика, що має розподіл Фішера при нульовому теоретичному прирості. Взагалі, якщо з рівняння регресії виключаються змінних, статистикою значущості виключення буде. Покрокова процедура побудови моделі. Основним критерієм відбору аргументів повинне бути якісне уявлення про фактори, що впливають на залежну змінну, яку ми намагаємося змоделювати. Дуже добре реалізований процес побудови регресійної моделі: на машину перекладена значна частка труднощів у вирішенні цього завдання. Можлива побудова послідовне побудова моделі додаванням і видаленням блоків змінних. Але ми розглянемо тільки роботу з окремими змінними. За замовчуванням програма включає всі задані змінні.
Теоретичне кореляційне відношення η представляє собою відносну величину, що виходить в результаті порівняння середнього квадратичного відхилення вирівняних значень результативної ознаки δ, тобто розрахованих за рівнянням регресії, із середнім квадратичним ставленням емпіричних (фактичних) значень результативності ознаки σ:
,
де ; .
Тоді . [2]
Зміна значення η пояснюється впливом факторної ознаки. Метод включення і виключення змінних полягає в наступному. З безлічі чинників, які розглядають дослідником як можливі аргументи регресійного рівняння, відбирається один, який найбільше пов'язаний кореляційною залежністю. Далі проводиться та ж процедура при двох обраних змінних, при трьох і т.д. Процедура повторюється до тих пір, поки в рівняння не будуть включені всі аргументи, виділені дослідником, що задовольняють критеріям значимості включення. Зауваження: щоб уникнути зациклення процесу включення виключення значимість включення встановлюється менше значущості винятку. Змінні, породжувані регресійним рівнянням. Збереження змінних, породжуваних регресією, проводиться підкомандами. Завдяки отриманим оцінками коефіцієнтів рівняння регресії можуть бути оцінені прогнозні значення залежної змінної, причому вони можуть бути обчислені і там, де значення визначені, і там де вони не визначені.