Сучасні економетричні методи

Бутстреп (розмноження вибірок) (див. також розділ 11). Інша із згаданих вище напрямків - бутстреп - пов'язано з інтенсивним використанням можливостей обчислювальної техніки. Основна ідея полягає в тому, щоб теоретичне дослідження замінити обчислювальним експериментом. Замість опису вибірки розподілом з параметричного сімейства будуємо велику кількість "схожих" вибірок, тобто "Розмножуємо" вибірку. Потім замість оцінювання характеристик (і параметрів) і перевірки гіпотез на основі властивостей теоретичного розподілу вирішуємо ці завдання обчислювальним методом, розраховуючи цікавлять нас статистики по кожній з "схожих" вибірок і аналізуючи отримані при цьому розподілу. Наприклад, замість того, щоб теоретичним шляхом знаходити розподіл статистики, довірчі інтервали та інші характеристики, моделюють велике число вибірок, схожих на вихідну, потім розраховують відповідні значення цікавить дослідника статистики і вивчають їх емпіричне розподіл. Квант цього розподілу задають довірчі інтервали, і т.д.
Термін "бутстреп" миттєво отримав широку популярність після першої ж статті Б. Ефрона 1979 р. по цій тематиці. Він відразу ж став обговорюватися в масі публікацій, в тому числі і науково-популярних. У "Заводський лабораторії" № 10 за 1987 р. була поміщена підбірка статей по бутстреп. Російською мовою випущено збірник статей Б. Ефрона [16]. Основна ідея бутстреп за Б. Ефрон полягає в тому, що методом Монте-Карло (статистичних випробувань) багаторазово витягуються вибірки з емпіричного розподілу. Ці вибірки, природно, є варіантами вихідної, нагадують її.
Сама по собі ідея "розмноження вибірок" була відома набагато раніше. Одна зі статей Б. Ефрона у збірнику [16] називається так: "бутстреп-методи: новий погляд на метод складного ножа". Згаданий "метод складного ножа" (jackknife) запропонований М. Кену ще в 1949 р., за 30 років до появи статті Б. Ефрона. "Розмноження вибірок" при цьому здійснюється шляхом виключення одного спостереження. Таким чином для вибірки обсягу n отримуємо n "схожих" на неї вибірок обсягу (n - 1) кожна. Якщо ж виключати по 2 спостереження, то число "схожих" вибірок зростає до n (n - 1) / 2 об'єму (n - 2) кожна.
Переваги та недоліки бутстреп як статистичного методу обговорювалися в розділі 11 вище. Там же наводиться інформація про низку аналогічних методів. Необхідно підкреслити, що бутстреп по Ефрон - лише один з варіантів методів "розмноження вибірки" (resampling), і, на наш погляд, не найвдаліший. Метод "складного ножа" видається більш корисним. На його основі можна сформулювати наступну просту практичну рекомендацію.
Припустимо, що Ви за вибіркою робите які-небудь статистичні висновки. Ви хочете дізнатися також, наскільки ці висновки стійкі. Якщо у Вас є інші (контрольні) вибірки, що описують те ж явище, то Ви можете застосувати до них ту ж статистичну процедуру і порівняти результати. А якщо таких вибірок ні? Тоді Ви можете їх побудувати штучно. Берете вихідну вибірку і виключаєте один елемент. Отримуєте схожу вибірку (вона взята з того ж розподілу, тільки обсяг на одиницю менше). Потім повертаєте цей елемент вибірки і виключаєте інший. Отримуєте другу схожу вибірку. Поступивши таким чином з усіма елементами вихідної вибірки, отримуєте стільки вибірок, схожих на вихідну, який її обсяг. Залишається обробити їх тим же способом, що і вихідну, і вивчити стійкість одержуваних висновків - розкид оцінок параметрів, частоти прийняття або відхилення гіпотез і т.д.
Можна змінювати не вибірку, а самі дані. Оскільки завжди є похибки вимірювання, то реальні дані - це не числа, а інтервали (результат вимірювання плюс-мінус похибка). Потрібна статистична теорія аналізу таких даних.
Статистика інтервальних даних (див. також розділ 9). Перспективне і швидко розвивається напрямок останніх років - прикладна математична статистика інтервальних даних. Мова йде про розвиток методів математичної статистики в ситуації, коли статистичні дані - не числа, а інтервали, зокрема, породжені накладенням помилок вимірювання на значення випадкових величин.
Статистика інтервальних даних ідейно пов'язана з інтервальної математикою, в якій в ролі чисел виступають інтервали. Цей напрямок математики є подальшим розвитком всім відомих правил наближених обчислень, присвячених висловом похибок суми, різниці, твори, приватного через похибки тих чисел, над якими здійснюються перераховані операції. До теперішнього часу вдалося вирішити, зокрема, ряд задач теорії інтервальних диференціальних рівнянь, в яких коефіцієнти, початкові умови та рішення описуються за допомогою інтервалів.
Одна з провідних наукових шкіл у галузі статистики інтервальних даних - це школа проф. А.П. Вощинін, що активно працює з кінця 70-х років. Зокрема, вивчені проблеми регресійного аналізу, планування експерименту, порівняння альтернатив та прийняття рішень в умовах інтервальної невизначеності.
Розглянемо інший напрям в статистиці інтервальних даних, яке також є перспективним. У ньому розвиваються асимптотичні методи статистичного аналізу інтервальних даних при великих обсягах вибірок і малих погрішності вимірів. На відміну від класичної математичної статистики, спочатку спрямовується до нескінченності обсяг вибірки і тільки потім - зменшуються до нуля похибки. Зокрема, за допомогою такої асимптотики були сформульовані правила вибору методу оцінювання параметрів гамма-розподілу в ГОСТ 11.011-83 [12].
У рамках розглянутого наукового напрямку, розроблена загальна схема дослідження, що включає розрахунок нотних (максимально можливого відхилення статистики, викликаного интервальности вихідних даних) і раціонального обсягу вибірки (перевищення якого не дає істотного підвищення точності оцінювання). Вона застосована до оцінювання математичного сподівання, дисперсії, коефіцієнта варіації, параметрів гамма-розподілу і характеристик адитивних статистик, при перевірці гіпотез про параметри нормального розподілу, в т.ч. за допомогою критерію Стьюдента, а також гіпотези однорідності за допомогою критерію Смирнова. Розроблено підходи до розгляду інтервальних даних в основних постановках регресійного, дискримінантного та кластерного аналізів. Зокрема, вивчено вплив похибок вимірювань і спостережень на властивості алгоритмів регресійного аналізу, розроблені способи розрахунку нотні та раціональних обсягів вибірок, введені та досліджені нові поняття багатомірних і асимптотичних нотні, доведені відповідні граничні теореми. Розпочато розробку інтервального дискримінантного аналізу, зокрема, розглянуто вплив интервальности даних на введений в розділі 5 показник якості класифікації. Вивчено асимптотичну поведінку оцінок методу моментів і оцінок максимальної правдоподібності (а також більш загальних - оцінок мінімального контрасту), проведено асимптотичну порівняння цих методів у випадку інтервальних даних. Знайдено загальні умови, при яких, на відміну від класичної математичної статистики, метод моментів дає більш точні оцінки, ніж метод максимальної правдоподібності.
В області асимптотичної математичної статистики інтервальних даних російська наука має світовий пріоритет. Розгортання робіт по розглянутій тематиці дозволить закріпити цей пріоритет, отримати теоретичні результати, основоположні в новій галузі математичної статистики і необхідні для обгрунтованого статистичного аналізу майже всіх типів даних. З часом в усі види статистичного програмного забезпечення повинні бути включені алгоритми інтервальної статистики, "паралельні" звичайно використовуваним алгоритмам прикладної математичної статистики. Це дозволить в явному вигляді врахувати наявність похибок у результатів спостережень, зблизити позиції метрологів і статистиків.
Статистика об'єктів нечислової природи як частина прикладної статистики. Відповідно до загальноприйнятої в даний час класифікації статистичних методів прикладна статистика ділиться на наступні чотири області:
статистика (числових) випадкових величин (див. розділ 4),
багатомірний статистичний аналіз (див. Розділ 5),
статистика тимчасових рядів і випадкових процесів (див. розділ 6),
статистика об'єктів нечислової природи (див. розділ 8),.
Перші три з цих областей є класичними. Вони були добре відомі ще в першій половині ХХ ст. Зупинимося на четвертій, порівняно недавно ввійшла в масову свідомість фахівців. Її називають також статистикою нечислових даних або просто нечислової статистикою. Аналіз динаміки розвитку економетрики та прикладної статистики приводить до висновку, що в XXI ст. вона стане центральною областю прикладної статистики, оскільки містить найбільш загальні підходи і результати.
Вихідний об'єкт у прикладній математичній статистиці - це вибірка. У ймовірнісної теорії статистики вибірка - це сукупність незалежних однаково розподілених випадкових елементів. Яка природа цих елементів? У класичній математичній статистиці елементи вибірки - це числа. У багатовимірному статистичному аналізі - вектора. А в нечислової статистикою елементи вибірки - це об'єкти нечислової природи, які не можна складати і множити на числа. Іншими словами, об'єкти нечислової природи лежать у просторах, що не мають векторної структури.
Прикладами об'єктів нечислової природи є (докладніше див розділ 8):
значення якісних ознак, тобто результати кодування об'єктів за допомогою заданого переліку категорій (градацій);
впорядкування (ранжування) експертами зразків продукції (при оцінці її технічного рівня та конкурентоспроможності)) або заявок на проведення наукових робіт (при проведенні конкурсів на виділення грантів);
класифікації, тобто розбиття об'єктів на групи схожих між собою (кластери);
толерантності, тобто бінарні відношення, що описують подібність об'єктів між собою, наприклад, подібності тематики наукових робіт, що оцінюється експертами з метою раціонального формування експертних рад всередині певної галузі науки;
результати парних порівнянь або контролю якості продукції за альтернативною ознакою ("придатний" - "шлюб"), тобто послідовності з 0 і 1;
безлічі (звичайні або нечіткі), наприклад, зони, уражені корозією, або переліки можливих причин аварії, складені експертами незалежно один від одного;
слова, пропозиції, тексти;
вектора, координати яких - сукупність значень різнотипних ознак, наприклад, результат складання статистичного звіту про науково-технічної діяльності (т.зв. форма № 1-наука) або заповнена комп'ютеризована історія хвороби, в якій частина ознак носить якісний характер, а частина - кількісний ;
відповіді на питання експертної, маркетингової чи соціологічної анкети, частина з яких носить кількісний характер (можливо, інтервальний), частина зводиться до вибору однієї з кількох підказок, а частина є тексти, і т.д.
Інтервальні дані (див. вище) теж можна розглядати як приклад об'єктів нечислової природи, а саме, як окремий випадок нечітких множин.
З початку 70-х років під впливом запитів прикладних досліджень у соціально-економічних, технічних, медичних науках в Росії активно розвивається статистика об'єктів нечислової природи, відома також як статистика нечислових даних або нечислової статистика. У створенні цієї порівняно нової області економетрики та прикладної математичної статистики пріоритет належить російським ученим.
Велику роль відіграв заснований у 1973 р. науковий семінар "Експертні оцінки і аналіз даних". У 60-і роки радянський наукове співтовариство стало цікавитися методами експертних оцінок (про їхню історію та сучасний стан див. розділ 12). Як наслідок, почалося знайомство з конкретними математизувати теоріями, пов'язаними з цими методами. Мова йде про репрезентативну теорії вимірювань, що стала відомою в нашій країні за статтею П. Суппеса і Дж.Зінеса у збірнику [17] і книзі І. Пфанцагля [18], про теорію нечіткості, сучасний етап якої розпочався з робіт Л. А. Заде [19], теорії парних порівнянь, описаної в монографії Г. Девіда [20]. До цього кола ідей примикають теорія випадкових множин (див., наприклад, книгу Ж. Матерона [21]) та методи багатовимірного шкалювання (описані, зокрема, в монографіях А. Ю. Терьохін [22] і В. Т. Перехрест [23 ]). Але найбільший вплив зробили ідеї Дж.Кемені, який аксіоматично ввів відстань між ранжировками (тепер воно іменується в літературі відстанню Кемені) і запропонував використовувати в якості середньої величини рішення оптимізаційної задачі (тепер - медіана Кемені). Його скромна книжка [24], написана у співавторстві з Дж.Снеллом, породила великий потік досліджень.
Протягом 70-х років на основі запитів теорії експертних оцінок (а також соціології, економіки, техніки і медицини) розвивалися конкретні напрямки статистики об'єктів нечислової природи. Були встановлені зв'язки між конкретними видами таких об'єктів, розроблені для них імовірнісні моделі (див. розділ 8). Наукові підсумки цього періоду підведені в монографіях [14,25,26]).
Наступний етап - виділення статистики об'єктів нечислової природи як самостійного напряму в економетрики та прикладної статистики, ядром якого є методи статистичного аналізу даних довільної природи. Програма розвитку цього нового наукового напрямку вперше була сформульована в статті [27]. Реалізація цієї програми була здійснена в 80-і роки. Для робіт цього періоду характерна зосередженість на внутрішніх проблемах нечислової статистики. Посилання на конкретні монографії, збірники, статті та інші публікації декількох десятків авторів приведені в розділі 8. Відзначимо лише збірник наукових статей [28], повністю присвячений нечислової статистиці.
До 90-х років статистика об'єктів нечислової природи з теоретичної точки зору була досить добре розвинена, основні ідеї, підходи і методи були розроблені та вивчені математично, зокрема, доведено досить багато теорем. Проте вона залишалася недостатньо апробованою на практиці. Це було пов'язано як з її порівняльної молодістю, так і з загальновідомими особливостями організації науки в 80-ті роки, коли були відсутні достатні стимули до того, щоб теоретики зайнялися широким впровадженням своїх результатів. І в 90-ті роки настав час від математико-статистичних досліджень перейти до застосування отриманих результатів на практиці.
Слід зазначити, що в статистиці об'єктів нечислової природи, як і в інших областях економетрики, прикладної математичної статистики і прикладної математики взагалі, одна і та ж математична схема може з успіхом застосовуватися і в технічних дослідженнях, і в менеджменті, і в економіці, і в геології, і в медицині, і в соціології, і для аналізу експертних оцінок, і в багатьох інших областях, а тому її краще всього формулювати і вивчати в найбільш загальному вигляді, для об'єктів довільної природи.
Основні ідеї статистики об'єктів нечислової природи. У чому принципова новизна нечислової статистики? Для класичної математичної статистики характерна операція додавання. При розрахунку вибіркових характеристик розподілу (вибіркове середнє арифметичне, вибіркова дисперсія та ін), в регресійному аналізі та інших областях цієї наукової дисципліни постійно використовуються суми. Математичний апарат - закони великих чисел, Центральна гранична теорема та інші теореми - націлені на вивчення сум. У нечислової ж статистикою не можна використовувати операцію складання, оскільки елементи вибірки лежать у просторах, де немає операції додавання. Методи обробки нечислових даних засновані на принципово іншому математичному апараті - на застосуванні різних відстаней у просторах об'єктів нечислової природи.
Коротко розглянемо кілька ідей, що розвиваються в статистиці об'єктів нечислової природи для даних, що лежать в просторах довільного виду. Вирішуються класичні задачі опису даних, оцінювання, перевірки гіпотез - але для некласичних даних, а тому некласичними методами.
Першою обговоримо проблему визначення середніх величин. У рамках репрезентативною теорії вимірювань вдається вказати вид середніх величин, що відповідають тим чи іншим шкалами вимірювання (див. розділ 3). У класичній математичній статистиці середні величини вводять за допомогою операцій додавання (вибіркове середнє арифметичне, математичне очікування) або впорядкування (вибіркова і теоретична медіани). У просторах довільної природи середні значення не можна визначити за допомогою операцій додавання або впорядкування. Теоретичні та емпіричні середні доводиться вводити як рішення екстремальних задач. Для теоретичного середнього це - завдання мінімізації математичного очікування (в класичному розумінні) відстані від випадкового елемента зі значеннями в розглянутому просторі до фіксованої точки цього простору (мінімізується зазначена функція від цієї точки). Для емпіричного середнього математичне сподівання береться по емпіричному розподілу, тобто береться сума відстаней від деякої точки до елементів вибірки і потім мінімізується по цій крапці. При цьому як емпіричне, так і теоретичне середні як рішення екстремальних задач можуть бути не єдиним елементом простору, а складатися з безлічі таких елементів, яке може виявитися і порожнім. Проте вдалося сформулювати і довести закони великих чисел для середніх величин, визначених зазначеним чином, тобто встановити збіжність емпіричних середніх до теоретичних.
Виявилося, що методи докази законів великих чисел допускають істотно більш широку область застосування, ніж та, для якої вони були розроблені. А саме, вдалося вивчити асимптотики рішень екстремальних статистичних завдань, до яких, як відомо, зводиться більшість постановок прикладної статистики. Зокрема, крім законів великих чисел встановлена ​​і спроможність оцінок мінімального контрасту, в тому числі оцінок максимальної правдоподібності і робастних оцінок. До теперішнього часу подібні оцінки вивчені також і в інтервальної статистиці.
У статистиці у просторах довільної природи велику роль відіграють непараметричні оцінки щільності, що використовуються, зокрема, в різних алгоритмах регресійного, дискримінантного, кластерного аналізів. У нечислової статистикою запропонований і вивчений ряд типів непараметричних оцінок щільності у просторах довільної природи, зокрема, доведено їх спроможність, вивчена швидкість збіжності і встановлений примітний факт збігу найкращої швидкості збіжності в кожному разі з тією, яка має бути в класичній теорії для числових випадкових величин .
Дискримінантний, кластерний, регресійний аналізи у просторах довільної природи засновані або на параметричної теорії - і тоді застосовується підхід, пов'язаний з асимптотики рішення екстремальних статистичних завдань - або на непараметричної теорії - і тоді використовуються алгоритми на основі непараметричних оцінок щільності.
Для перевірки гіпотез можуть бути використані статистики інтегрального типу, зокрема, типу омега-квадрат. Цікаво, що гранична теорія таких статистик, побудована спочатку в класичній постановці [29], придбала природний (завершений, витончений) вид саме для просторів довільного виду [30], оскільки при цьому вдалося провести міркування, спираючись на базові математичні співвідношення, а не на ті приватні (із загальної точки зору), що були пов'язані з конечномірні простором.
Становлять практичний інтерес результати, пов'язані з конкретними областями статистики об'єктів нечислової природи, зокрема, зі статистикою нечітких множин, розвиненою в книзі [31], і зі статистикою випадкових множин [14] (слід відзначити, що теорія нечітких множин в певному сенсі зводиться до теорії випадкових множин [14,31]), з непараметричної теорією парних порівнянь, з аксіоматичним введенням метрик у конкретних просторах об'єктів нечислової природи [28], і з рядом інших конкретних постановок (див. розділ 8).
Для аналізу нечислових, зокрема, експертних даних вельми важливі методи класифікації. З іншого боку, найбільш природно ставити і вирішувати задачі класифікації, засновані на використанні відстаней або показників відмінності, в рамках статистики об'єктів нечислової природи. Це стосується як розпізнавання образів з учителем (іншими словами, дискримінантного аналізу), так і розпізнавання образів без вчителя (тобто кластерного аналізу). Сучасний стан дискримінантного і кластерного аналізу з точки зору статистики об'єктів нечислової природи відображено в розділі 5.
Статистичні методи аналізу нечислових даних особливо добре пристосовані для застосування в економіці, соціології та експертних оцінках, оскільки в цих областях від 50% до 90% даних є нечисловими.
Інші точки росту. Вище розглянуті п'ять "точок зростання" економетрики та прикладної статистики. Зрозуміло, вони не вичерпують все різноманіття фронту наукових досліджень в розглянутих областях. Крім того, у цій главі майже не зачеплені різноманітні застосування економетричних та статистичних методів у конкретних прикладних дослідженнях і розробках. Багато цікавих проблем є в плануванні експериментів, особливо кінетичних (див., наприклад, статтю [31]), при аналізі проблем надійності, в нових статистичних методах управління якістю продукції (див. розділ 13), в тому числі у зв'язку з ідеями Г. Тагуті, при аналізі ризиків (див. розділ 14), у питаннях екології та безпеки та ін
Протягом останніх більш ніж 60 років у Росії спостерігається величезний розрив між державною статистикою і науковим співтовариством фахівців за статистичними методами (докладніше про це див статтю [7]). У підручнику з історії статистики [32] навіть не згадуються імена членів-кореспондентів АН СРСР М. В. Смирнова і Л.М. Большева! Але ж вони - єдині представники саме математичної статистики як такої в Академії наук у ХХ ст. (Ще ряд членів Академії наук мали математичну статистику серед своїх інтересів, але Н. В. Смирнов та Л. Н. більше займалися практично тільки нею). Тому немає нічого дивного в тому, що тенденції розвитку сучасної економетрики та прикладної математичної статистики настільки ж мало обговорюються вітчизняними авторами, як і її історія.
Про деякі невирішені питання економетрики та прикладної статистики
 
За останні 30 років виявився цілий ряд невирішених питань економетрики та прикладної статистики, як суто наукових, так і науково-організаційних. Обговоримо п'ять з них:
вплив відхилень від традиційних передумов (ймовірнісно-статистичних моделей) на властивості економетричних та статистичних процедур;
виправданість використання асимптотичних теоретичних результатів економетрики та прикладної математичної статистики при кінцевих обсягах вибірок;
формулювання й обгрунтування правил вибору одного з багатьох критеріїв для перевірки конкретної гіпотези;
конкретні способи організації теоретичних робіт в області економетрики та прикладної математичної статистики;
організація та проведення прикладних робіт з використанням методів економетрики та прикладної математичної статистики.
Цей розділ аж ніяк не претендує на вирішення перелічених питань. Його мета набагато скромніша - звернути увагу на існування ряду невирішених питань в надії, що колективними зусиллями вдасться просунутися в їх вирішенні.
Вплив відхилень від традиційних передумов. У ймовірнісної теорії статистичних методів вибірка звичайно моделюється як кінцева послідовність незалежних однаково розподілених випадкових величин або векторів. Часто передбачається, що ці величини (вектора) мають нормальний розподіл.
На основі сформульованих класичних передумов побудовано величезний будинок класичної математичної статистики з великим числом теорем. Воно за останні 100 років обросло горою підручників і програмних продуктів.
Однак при уважному погляді абсолютно ясна нереалістичність класичних передумов. Незалежність результатів вимірювань зазвичай приймається "із загальних припущень", тим часом у багатьох випадках очевидна їх коррелированность [33]. Однакова розподіленість також викликає сумніви через зміни в часі властивостей вимірюваних зразків, засобів вимірювання та психофізичного стану спеціалістів, які проводять вимірювання (спостереження, випробування, аналізи, досліди). Навіть обгрунтованість самої можливості застосування імовірнісних моделей також часто викликає сумніви, наприклад, при моделюванні унікальних вимірювань (теорію ймовірностей зазвичай залучають при вивченні масових явищ). І вже зовсім рідко розподілу результатів вимірів можна вважати нормальними (див. розділ 4).
Отже, методи класичної математичної статистики зазвичай використовують поза сферою їх обгрунтованої застосовності. Який вплив відхилень від традиційних передумов на статистичні висновки? В даний час про це є лише уривчасті відомості. Наведемо три приклади.
Приклад 1. Побудова довірчого інтервалу для математичного очікування зазвичай проводять з використанням розподілу Стьюдента (при справедливості гіпотези нормальності). Як випливає з Центральної Граничною Теореми (ЦПТ) теорії ймовірностей, в асимптотики (при великому обсязі вибірки) такі розрахункові методи дають правильні результати. А саме, з ЦПТ випливає використання квантиль нормального розподілу, а з класичної теорії - квантиль розподілу Стьюдента, але при зростанні обсягу вибірки квантами розподілу Стьюдента прагнуть до відповідних квантиль нормального розподілу.
Приклад 2. Для перевірки однорідності двох незалежних вибірок (насправді - для перевірки рівності математичних очікувань) зазвичай рекомендують використовувати двухвиборочний критерій Стьюдента. Що буде у разі відхилення від нормальності розподілів, з яких взяті вибірки? Якщо обсяги вибірок рівні або якщо дисперсії результатів спостережень у вибірках збігаються, то в асимптотики (коли обсяги вибірок безмежно зростають) класичний метод є коректним. Якщо ж обсяги вибірок істотно відрізняються і їх дисперсії різні, то двухвиборочную статистику Стьюдента застосовувати не можна. Оскільки перевірка рівності дисперсій - складніше завдання, ніж перевірка рівності математичних сподівань, то для вибірок різного обсягу використовувати двухвиборочную статистику Стьюдента не слід, краще застосовувати критерій Крамера-Уелча, як це докладно обгрунтовано в розділі 4.
Приклад 3. У задачі відбракування (виключення) різко виділяються спостережень (викидів) розрахункові методи, засновані на нормальності, є вкрай нестійкими по відношенню до відхилень від нормальності, що повністю позбавляє ці методи наукової обгрунтованості (докладніше див розділ 4).
Приклади 1-3 показують весь спектр можливих властивостей класичних розрахункових методів у випадку відхилення від нормальності. Методи прикладу 1 виявляються цілком придатними за таких відхиленнях, прикладу 2 - придатними в деяких випадках, приклад 3 - повністю непридатними.
Отже, є необхідність вивчення властивостей розрахункових методів класичної математичної статистики, що спираються на припущення нормальності, в ситуаціях, коли це припущення не виконано. Апаратом для такого вивчення поряд з методом Монте-Карло (статистичних випробувань) можуть послужити граничні теореми теорії ймовірностей (і спираються на них асимптотичні методи математичної статистики), перш за все ЦПТ, оскільки нас цікавлять, розрахункові методи зазвичай використовують різноманітні суми.
Поки подібне вивчення не проведено, залишається неясною наукова цінність, наприклад, застосування факторного аналізу до векторів із змінних, що приймають невелике число градацій і до того ж виміряних в порядкової шкалою. Цей приклад показує важливість ще одного напрямку досліджень - вивчення властивостей алгоритмів, призначених для аналізу числових даних, у випадках, коли дані виміряні в шкалах, відмінних від абсолютної, зокрема, в порядкової шкалою. Детальніше це напрямок розглянуто в розділі 3.
З великого числа можливих постановок, що відносяться до вивчення впливу відхилень від традиційних передумов, вкажемо лише на те, що реальні дані мають невелике число значущих цифр (зазвичай від 2 до 5), в той час як у класичній математичній статистиці використовуються безперервні випадкові величини, для яких імовірність отримання подібного результату спостереження дорівнює 0. Дійсно, ймовірність того, що хоча б один елемент вибірки з розподілу з безперервною функцією розподіл потрапить в заданий рахункове безліч, зокрема, в безліч раціональних чисел, дорівнює 0 (згідно класичним властивостям ймовірнісної міри). Подіями, що мають ймовірність 0, прийнято нехтувати. Отже, з точки зору класичної математичної статистики будь-якими реальними даними потрібно знехтувати! Виходів із цього парадоксу декілька. Один з них - бурхливо розвивається в даний час статистика інтервальних даних (див. розділ 9), інший - використання класичних поправок Шеппарда для згрупованих даних [34,35]. Тут ще багато роботи. Так, навіть для такого широко використовуваного статистичного показника, як коефіцієнт кореляції, поправки на угрупування (поправки Шеппарда) були отримані порівняно недавно - лише в 1980 р. [35].
Чому на перший план висунуто вивчення класичних алгоритмів, а не побудова нових, спеціально призначених для роботи в умовах відхилення від класичних передумов? По-перше, тому, що класичні алгоритми в даний час найбільш поширені (завдяки сформованій системі освіти як прикладників, так і математиків). По-друге, більш нові підходи часто методологічно уразливі. Так, відома робастної модель засмічення Тьюкі-Хубера (див. розділ 10) націлена на боротьбу з великими викидами, які часто фізично неможливі через обмеженість інтервалу можливих значень вимірюваної характеристики, в якому працює конкретний засіб вимірювання. Отже, модель Тьюкі-Хубера має скоріше теоретичне значення, ніж практичне. Сказане, звичайно, не означає, що слід припинити розробку, вивчення та впровадження непараметричних і стійких методів, виділених вище як "точки зростання" сучасних економетрики та прикладної статистики.
Використання асимптотичних результатів при кінцевих обсягах вибірок. Як зазначено вище, вивчення класичних алгоритмів в багатьох випадках може бути проведено за допомогою асимптотичних методів математичної статистики, зокрема, за допомогою ЦПТ і методів спадкоємства збіжності [14, п.2.4]. Відрив класичної математичної статистики від потреб прикладних досліджень проявився, зокрема, в тому, що в поширених монографіях бракує математичного апарату, необхідного, зокрема, для вивчення двухвиборочних статистик. Суть в тому, що переходити до межі доводиться не по одному параметру, а по двох - обсягами двох вибірок. Довелося розробити відповідну теорію - теорію наслідування збіжності, викладену в монографії [14, п.2.4].
Однак застосовувати результати подібного вивчення доведеться при кінцевих обсягах вибірок. Виникає цілий букет проблем, пов'язаних з таким переходом. Частина з них обговорювалася в статті [37] у зв'язку з вивченням властивостей статистик, побудованих за вибірками з конкретних розподілів.
Однак під час обговорення впливу відхилень від вихідних припущень на властивості статистичних процедур виникають додаткові проблеми. Які відхилення вважати типовими? Орієнтуватися на найбільш "шкідливі" відхилення, найбільшою мірою спотворюють властивості алгоритмів, або ж зосередити увагу на "типових" відхиленнях?
При першому підході отримуємо гарантований результат, але "ціна" цього результату може бути надто високою. В якості прикладу вкажемо на універсальне нерівність Беррі-есе для похибки в ЦПТ [38,39]. Цілком справедливо підкреслює академік РАН А.А. Боровков [39, с, 172], що "швидкість збіжності в реальних задачах, як правило, виявляється краще."
При другому підході виникає питання, які відхилення вважати "типовими". Спробувати відповісти на це питання можна, аналізуючи великі масиви реальних даних. Цілком природно, що відповіді різних дослідницьких груп будуть відрізнятися.
Одна з помилкових ідей - використання при аналізі можливих відхилень тільки якого-небудь конкретного параметричного сімейства - розподілів Вейбулла-Гнеденко, трипараметричного сімейства гамма - розподілів та ін Як вже зазначалося вище, ще в 1927 р. акад. АН СРСР С.М. Бернштейн обговорював методологічну помилку, що складається в зведенні всіх емпіричних розподілів до чотирипараметричного сімейства Пірсона [5]. Однак і до цих пір параметричні методи статистики вельми популярні, особливо серед прикладників, і провина за це помилка лежить насамперед на викладачів статистичних методів.
Вибір одного з багатьох критеріїв для перевірки конкретної гіпотези. У багатьох випадках для вирішення конкретної практичної задачі розроблено багато методів, і фахівець із математичних методів дослідження стоїть перед проблемою: який з них запропонувати прикладнику для аналізу конкретних даних?
В якості прикладу розглянемо задачу перевірки однорідності двох незалежних вибірок. Як відомо [13], для її вирішення можна запропонувати масу критеріїв: Стьюдента, Крамера-Уелча, Лорда, хі - квадрат, Вілкоксона (Манна-Уітні), Ван - дер - Варден, Севіджа, Н. В. Смирнова, типу омега- квадрат (Лемана-Розенблатта), Г.В. Мартинова та ін Який вибрати?
Природним чином приходить в голову ідея "голосування": провести перевірку за багатьма критеріями, а потім прийняти рішення "по більшості голосів". З точки зору статистичної теорії така процедура призводить просто до побудови ще одного критерію, який апріорі нічим не краще колишніх (але і не гірше), але більш важкий для вивчення. З іншого боку, якщо збігаються рішення з усіх розглянутих статистичними критеріями, що походить із різних принципів, то відповідно до концепції стійкості, розвиненою в монографії [14], це підвищує довіру до отриманого загального рішення.
Поширене, особливо серед математиків, помилкове і шкідливе думку про необхідність пошуку оптимальних методів, рішень і т.д. Справа в тому, що оптимальність зазвичай зникає при відхиленні від вихідних передумов. Так, середнє арифметичне в якості оцінки математичного очікування є оптимальною оцінкою тільки тоді, коли вихідне розподіл - нормальне (див., наприклад, монографію [40]), в той час як заможної оцінкою - завжди, лише б математичне сподівання існувало. З іншого боку, для будь-якого довільно взятого методу оцінювання або перевірки гіпотез звичайно можна так сформулювати поняття оптимальності, щоб розглянутий метод став оптимальним - з цією спеціально вибраної точки зору. Візьмемо, наприклад, вибіркову медіану як оцінку математичного очікування. Вона, зрозуміло, оптимальна, хоча і в іншому сенсі, ніж середнє арифметичне (оптимальне для нормального розподілу). А саме, для розподілу Лапласа вибіркова медіана є оцінкою максимального правдоподібності, а тому оптимальною - в тому сенсі, в якому оптимальною є будь-яка оцінка максимальної правдоподібності. Відповідне поняття оптимальності вимагає акуратних формулювань, воно суворо викладено в монографії [41]. Як відомо, оцінки максимальної правдоподібності зручні при теоретичних розглядах, а при аналізі конкретних економічних, технічних та інших даних слід застосовувати однокрокові оцінки (див. про це статтю [42]).
Критерії однорідності були проаналізовані в монографії проф. Я.Ю. Нікітіна [43]. Природних підходів до порівняння критеріїв кілька - на основі асимптотичної відносної ефективності по Бахадур, Ходжес - Леману, Пітмену. І з'ясувалося, що кожен критерій є оптимальним при відповідній альтернативі або відповідному розподілі на множині альтернатив. При цьому математичні викладки зазвичай використовують альтернативу зсуву, порівняно рідко зустрічається в практиці аналізу реальних статистичних даних (у зв'язку з критерієм Вілкоксона ця альтернатива обговорювалася в розділі 4). Підсумок сумний - блискуча математична техніка, продемонстрована в монографії [43], не дозволяє дати рекомендації для вибору критерію перевірки однорідності при аналізі реальних даних. Іншими словами, з точки зору роботи прикладники, тобто аналізу конкретних даних, монографія [43] марна. Блискуче володіння математикою і величезна працьовитість, продемонстровані автором цієї монографії, на жаль, нічого не принесли практиці.
Звичайно, кожен практично працює статистик так чи інакше вирішує для себе проблему вибору статистичного критерію. На основі ряду методологічних міркувань у розділі 4 ми зупинили свій вибір на спроможному проти будь-якої альтернативи критерії типу омега-квадрат (Лемана-Розенблатта). Однак залишається почуття незадоволеності у зв'язку з недостатньою теоретичною обгрунтованістю цього вибору.
Організація теоретичних робіт в області економетрики та прикладної статистики. Вище продемонстрована необхідність великої теоретичної роботи з розвитку націлених на практичне використання математичних методів дослідження. У статті [6] 1992 обгрунтований висновок про необхідність створення мережі науково-дослідних організацій, яка виконувала б таку роботу. Як відомо, кількість наукових працівників до теперішнього часу скоротилося принаймні в 3 рази в порівнянні з початком 1990-х років, так що на здійснення в найближчі роки сформульованої в [6] науково-організаційної програми сподіватися не доводиться.
Доводиться з жалем констатувати, що в рамках наукової спеціальності "теорія ймовірностей і математична статистика" спостерігається чітко виражене ігнорування проблем статистичного аналізу реальних даних і відхід в глиб узкоматематіческіх досліджень, які нічого не можуть дати практиці. Причини цього явища, типового для математичних дисциплін, обговорювалися вище. Тому немає підстав очікувати, що при "природному ході подій" будуть отримані істотні просування в розглянутих вище невирішених проблемах економетрики та прикладної математичної статистики.
Допомогти може виділення державними структурами системи грантів, спрямованих на підтримку робіт в області невирішених економетрики та прикладної математичної статистики. Принциповим кроком стало б виділення економетрики та прикладної математичної статистики як самостійних наукових напрямків, відмінних як від суто математичних дисциплін типу "теорії ймовірностей і математичної статистики", так і від, наприклад, гілки економічної теорії, відомої в офіційних колах під назвою "статистика".
Про прикладних роботах з використанням методів прикладної статистики. Проблеми організації теоретичних робіт в області економетрики та прикладної математичної статистики лише в перспективі важливі для практичної роботи. Як правило, ті, хто обробляє реальні дані, недостатньо обізнані з теоретичними основами алгоритмів і тим більше не стежать за подіями "на передньому краї" обговорюваної науково-методичної дисципліни. Це цілком природно, оскільки основна спеціальність у таких фахівців - інша.
Кілька огрубляя, можна сказати, що реально використовується тільки те, що є в підручниках і довідниках, у широко поширених програмних продуктах, а наукові публікації з точки зору прикладники представляють собою "інформаційний шум". Ситуація ускладнюється традиційним ненормальним становищем у вітчизняній статистиці [7], наявністю помилок у багатьох виданнях.
На жаль, навчальна і наукова література російською мовою (як, втім, і на інших мовах) з економетрики та прикладної статистики в цілому далека від досконалості, переповнена застарілими методологічними підходами і прямими помилками. До цих пір найкращим виданням залишаються "Таблиці математичної статистики" Л.М. Большева і Н. В. Смирнова [13], створені в 60-х роках.
Хоча студенти майже всіх спеціальностей вивчають в кінці курсу вищої математики розділ "теорія ймовірностей і математична статистика", реально вони знайомляться лише з деякими основними поняттями та результатами, яких явно не достатньо для практичної роботи. З деякими математичними методами дослідження студенти зустрічаються у спеціальних курсах (наприклад, таких, як "Прогнозування та техніко-економічне планування", "Техніко-економічний аналіз", "Контроль якості продукції", "Маркетинг", "Контролінг", "Математичні методи прогнозування "та ін), однак виклад у більшості випадків носить досить скорочений і рецептурний характер. У результаті переважну частину фахівців з економетрики, прикладної математичної статистики та їх застосування слід вважати самоучками.
Тому велике значення має введення в технічних вузах курсу "Прикладна математична статистика", а на економічних факультетах таких вузів - курсу «Економетрика», оскільки економетрика - це, як відомо, статистичний аналіз конкретних економічних даних (див. розділ 1). Це природно робити, наприклад, в рамках підпрограми "Технології підготовки кадрів для національної технологічної бази" федеральної цільової програми "Національна технологічна база". Природно, що курси "Прикладна математична статистика" і «Економетрика» повинні бути забезпечені відповідними підручниками і навчальними посібниками, методичними матеріалами та навчальними комп'ютерними системами.
Тільки через систему освіти можна підняти рівень масового застосування економетрики і прикладної статистики та скоротити відставання від "переднього краю" теорії. А це відставання в даний час складає не менше 20 (але й не більше 100) років.

Високі статистичні технології та економетрика
У цьому пункті детально обговорюється раніше введене поняття "високі статистичні технології". Розглядаються причини широкого розповсюдження застарілих і частково помилкових "низьких" статистичних технологій. Показано, що з усіх шляхів підвищення якості прикладних статистичних досліджень найбільш ефективним є розширення навчання "високим статистичними технологіям", в тому числі під ім'ям економетрики. Описаний досвід роботи Інституту високих статистичних технологій та економетрики МГТУ ім. Н.Е. Баумана.
Термін "високі технології" популярний у сучасній науково-технічній літературі. Він використовується для позначення найбільш передових технологій, що спираються на останні досягнення науково-технічного прогресу. Є такі технології і серед технологій статистичного аналізу даних - як у будь-який інтенсивно розвивається науково-практичній області.
Приклади високих статистичних технологій і входять до них алгоритмів аналізу даних, докладний аналіз сучасного стану та перспектив розвитку дані вище при обговоренні "точок зростання" економетрики як науково-практичної дисципліни. У якості "високих статистичних технологій" були виділені технології непараметричного аналізу даних; стійкі (робастні) технології; технології, засновані на розмноженні вибірок, на використанні досягнень статистики нечислових даних і статистики інтервальних даних.
Термін "високі статистичні технології". Обговоримо поки не цілком звичний термін "високі статистичні технології". Кожне з трьох слів несе своє смислове навантаження.
"Високі", як і в інших областях, означає, що статистична технологія спирається на сучасні досягнення статистичної теорії та практики, зокрема, теорії ймовірностей і прикладної математичної статистики. При цьому "спирається на сучасні наукові досягнення" означає, по-перше, що математична основа технології отримана порівняно недавно в рамках відповідної наукової дисципліни, по-друге, що алгоритми розрахунків розроблені та обгрунтовані відповідно до нею (а не є т.зв. "евристичними"). З часом, якщо нові підходи і результати не змушують переглянути оцінку застосовності і можливостей технології, замінити її на більш сучасну, "високі статистичні технології" переходять в "класичні статистичні технології", такі, як метод найменших квадратів. Отже, високі статистичні технології - плоди недавніх серйозних наукових досліджень. Тут два ключових поняття - "молодість" технології (у всякому разі, не старше 50 років, а краще - не старше 10 або 30 років) і опора на "високу науку".
Термін "статистичні" звичний, але роз'яснити його нелегко. У всякому разі, до діяльності Державного комітету РФ за статистикою високі статистичні технології відношення не мають. Як відомо, співробітники проф. В.В. Налімова зібрали понад 200 визначень терміна "статистика" [44]. Полеміка навколо термінології іноді приймає вельми гострі форми (див., наприклад, редакційні зауваження до статті [1], написані у стилі відомих висловлювань про генетику та кібернетиці кінця 1940-х років). Сучасне уявлення про термінологію в галузі теорії ймовірностей і математичної статистики відображено в Додатку 1 до цієї книзі, підготовленій на противагу поширеним помилкам і неточностей у цій галузі. Зокрема, з точки зору економетрики статистичні дані - це результати вимірювань, спостережень, випробувань, аналізів, дослідів, а "статистичні технології" - це технології аналізу статистичних даних.
Нарешті, рідко використовуваний стосовно до статистики термін "технології". Статистичний аналіз даних, як правило, включає в себе цілий ряд процедур і алгоритмів, що виконуються послідовно, паралельно або за більш складною схемою. Зокрема, можна виділити наступні етапи:
- Планування статистичного дослідження;
- Організація збору необхідних статистичних даних за оптимальною або хоча б раціональної програмі (планування вибірки, створення організаційної структури і підбір команди економетриком або статистиків, підготовка кадрів, які будуть займатися збором даних, а також контролерів даних тощо);
- Безпосередній збір даних та їх фіксація на тих чи інших носіях (з контролем якості збору і відбраковуванням помилкових даних з міркувань предметної області);
- Первинне опис даних (розрахунок різних вибіркових характеристик, функцій розподілу, непараметричних оцінок щільності, побудова гістограм, кореляційних полів, різних таблиць і діаграм і т.д.),
- Оцінювання тих чи інших числових або нечислових характеристик і параметрів розподілів (наприклад, непараметричне інтервальне оцінювання коефіцієнта варіації або відновлення залежності між відгуком і факторами, тобто оцінювання функції),
- Перевірка статистичних гіпотез (іноді їх ланцюжків - після перевірки попередньої гіпотези приймається рішення про перевірку тієї чи іншої подальшої гіпотези),
- Більш поглиблене вивчення, тобто застосування різних алгоритмів багатовимірного статистичного аналізу, алгоритмів діагностики та побудови класифікації, статистики нечислових та інтервальних даних, аналізу часових рядів та ін;
- Перевірка стійкості отриманих оцінок і висновків щодо допустимих відхилень вихідних даних і передумов використовуваних ймовірнісно-статистичних моделей, допустимих перетворень шкал вимірювання, зокрема, вивчення властивостей оцінок методом розмноження вибірок;
- Застосування отриманих статистичних результатів у прикладних цілях (наприклад, для діагностики конкретних матеріалів, побудови прогнозів, вибору інвестиційного проекту із запропонованих варіантів, знаходження оптимальних режиму здійснення технологічного процесу, підведення підсумків випробувань зразків технічних пристроїв тощо),
- Складання підсумкових звітів, зокрема, призначених для тих, хто не є фахівцями в економетричних та статистичних методах аналізу даних, в тому числі для керівництва - "осіб, які приймають рішення".
Можливі й інші структуризації статистичних технологій. Важливо підкреслити, що кваліфіковане і результативне застосування статистичних методів - це аж ніяк не перевірка одній окремо взятій статистичної гіпотези або оцінка параметрів одного заданого розподілу з фіксованого сімейства. Подібного роду операції - тільки окремі цеглинки, з яких складається будівля статистичної технології. Між тим підручники та монографії з статистикою зазвичай розповідають про окремі цеглу, але не обговорюють проблеми їх організації в технологію, призначену для прикладного використання.
Отже, процедура економетричного або статистичного аналізу даних - це інформаційний технологічний процес, іншими словами, та чи інша інформаційна технологія. Статистична інформація піддається різноманітним операціям (послідовно, паралельно або за більш складними схемами). В даний час про автоматизацію всього процесу статистичного аналізу даних говорити було б несерйозно, оскільки є дуже багато невирішених проблем, що викликають дискусії серед статистиків. "Експертні системи" в сфері статистичного аналізу даних поки не стали робочим інструментом статистиків. Ясно, що й не могли стати. Можна сказати і жорсткіше - це поки наукова фантастика чи навіть шкідлива утопія.
У літературі статистичні технології розглядаються явно недостатньо. Зокрема, зазвичай вся увага зосереджується на тому чи іншому елементі технологічного ланцюжка, а перехід від одного елемента до іншого залишається в тіні. Тим часом проблема "стикування" статистичних алгоритмів, як відомо, вимагає спеціального розгляду, оскільки в результаті використання попереднього алгоритму найчастіше порушуються умови застосовності наступного. Зокрема, результати спостережень можуть перестати бути незалежними, може змінитися їх розподіл і т.п. (Див. обговорення цієї проблеми у статті [45]).
Наприклад, при перевірці статистичних гіпотез велике значення мають такі добре відомі характеристики статистичних критеріїв, як рівень значущості та потужність. Методи їх розрахунку і використання при перевірці однієї гіпотези звичайно добре відомі. Якщо ж спочатку перевіряється одна гіпотеза, а потім з урахуванням результатів її перевірки - друга, то підсумкова процедура, яку також можна розглядати як перевірку деякою (більш складної) статистичної гіпотези, має характеристики (рівень значущості та потужність), які, як правило, не можна просто висловити через характеристики двох складових гіпотез, а тому вони зазвичай невідомі. У результаті підсумкову процедуру не можна розглядати як науково обгрунтовану, вона відноситься до евристичних алгоритмів. Звичайно, після відповідного вивчення, наприклад, методом Монте-Карло, вона може увійти до числа науково обгрунтованих процедур прикладної статистики.