Закони великих чисел

Міністерство освіти і науки України
Донецький Національний університет
Кафедра теорії ймовірностей та математичної статистики
Курсова робота
на тему: «Закони великих чисел»
Виконала:
студентка I курсу
група А
Полева Є. Л.
Перевірила:
Гатун А. П.
Донецьк-2007

Однаково розподілені випадкові величини
Для вирішення багатьох практичних завдань необхідно знати комплекс умов, завдяки якому результат сукупного впливу великої кількості випадкових чинників майже не залежить від випадку. Дані умови описані в декількох теоремах, що носять загальну назву закону великих чисел, де випадкова величина _до дорівнює 1 або 0 залежно від того, чи буде результатом k-го випробування успіх або невдача. Таким чином, Sn є сумою n взаємно незалежних випадкових величин, кожна з яких приймає значення 1 і 0 з імовірностями р і q.
Найпростіша форма закону великих чисел - теорема Бернуллі, яка стверджує, що якщо ймовірність події однакова у всіх випробуваннях, то зі збільшенням числа випробувань частота події прагне до ймовірності події і перестає бути випадковою.
Теорема Пуассона стверджує, що частота події в серії незалежних випробувань прагне до середнього арифметичного його імовірностей і перестає бути випадковою.
Граничні теореми теорії ймовірностей, теореми Муавра-Лапласа пояснюють природу стійкості частоти появ події. Природа ця полягає в тому, що граничним розподілом числа появ події при необмеженому зростанні числа випробувань (якщо ймовірність події у всіх випробуваннях однакова) є нормальний розподіл.
Центральна гранична теорема пояснює широке поширення нормального закону розподілу. Теорема стверджує, що завжди, коли випадкова величина утворюється в результаті складання великого числа незалежних випадкових величин з кінцевими дисперсіями, закон розподілу цієї випадкової величини виявляється практично нормальним законом.
Теорема Ляпунова пояснює широке поширення нормального закону розподілу і пояснює механізм його утворення. Теорема дозволяє стверджувати, що завжди, коли випадкова величина утворюється в результаті складання великого числа незалежних випадкових величин, дисперсії яких малі порівняно з дисперсією суми, закон розподілу цієї випадкової величини виявляється практично нормальним законом. А оскільки випадкові величини завжди породжуються нескінченною кількістю причин і найчастіше жодна з них не має дисперсії, порівнянної з дисперсією самої випадкової величини, то більшість зустрічаються в практиці випадкових величин підпорядковане нормальному закону розподілу.
В основі якісних і кількісних тверджень закону великих чисел лежить нерівність Чебишева. Воно визначає верхню межу ймовірності того, що відхилення значення випадкової величини від її математичного сподівання більше деякого заданого числа. Чудово, що нерівність Чебишева дає оцінку ймовірності події для випадкової величини, розподіл якої невідомо, відомі лише її математичне сподівання і дисперсія.
Нерівність Чебишева. Якщо випадкова величина x має дисперсію, то для будь-якого x> 0 справедливо нерівність , Де M x і D x - математичне очікування і дисперсія випадкової величини x.
Теорема Бернуллі. Нехай x _n - число успіхів у n випробуваннях Бернуллі і p - ймовірність успіху в окремому випробуванні. Тоді при будь-якому s> 0 справедливо .
Теорема Ляпунова. Нехай s _1, s _2, ..., s _n, ... - необмежена послідовність незалежних випадкових величин з математичними очікуваннями m _1, m _2, ..., m _n, ... і дисперсіями s ₁ ^2, s _{² 2,} ..., s _n ² ... . Позначимо , , , .
Тоді = Ф (b) - Ф (a) для будь-яких дійсних чисел a і b, де Ф (x) - функція розподілу нормального закону.
Нехай дана дискретна випадкова величина . Розглянемо залежність числа успіхів Sn від числа випробувань n. При кожному випробуванні Sn зростає на 1 або на 0. Це твердження можна записати у вигляді:
Sn = ₁ + ... + _n. (1.1)
Закон великих чисел. Нехай { _{до}-послідовність} взаємно незалежних випадкових величин з однаковими розподілами. Якщо математичне сподівання = М ( _к) існує, то для будь-якого > 0 при n
(1.2)
Інакше кажучи, ймовірність того, що середнє S _n / n відрізняється від математичного очікування менше, ніж на довільно заданий , Прагне до одиниці.
Центральна гранична теорема. Нехай { _{до}-послідовність} взаємно незалежних випадкових величин з однаковими розподілами. Припустимо, що і існують. Нехай Sn = ₁ + ... + _n, Тоді для будь-яких фіксованих
Ф ( ) - Ф ( ) (1.3)
Тут Ф (х) - нормальна функція распределеніяю. Цю теорему сформулював і довів Лінлберг. Ляпунов та інші автори доводили її раніше, при більш обмежувальних умовах. Необхідно уявити собі, що сформульована вище теорема є лише дуже окремим випадком набагато більш загальної теореми, яка в свою чергу тісно пов'язана з багатьма іншими граничними теоремами. Відзначимо, що (1.3) набагато сильніше, ніж (1.2), так як (1.3) дає оцінку для ймовірності того, що різниця більше, ніж . З іншого боку, закон великих чисел (1.2) вірний, навіть якщо випадкові величини _k не мають кінцевої дисперсії, так що він застосовний до більш загального випадку, ніж центральна гранична теорема (1.3). Проілюструємо останні дві теореми прикладами.
Приклади. А) Розглянемо послідовність незалежних кидання симетричної кістки. Нехай _k - число очок, що випали при k-му киданні. Тоді
M ( _k) = (1 +2 +3 +4 +5 +6) / 6 = 3.5,
a D ( _k) = (1 ² +2 ² +3 ² +4 ² +5 ² +6 ²⁾ / 6 - (3.5) ² = 35/12 і S _n / n
є середнім числом очок, що випали в результаті n кидання.
Закон великих чисел стверджує: правдоподібно, що при великих п це середнє виявиться близьким до 3,5. Центральна гранична теорема стверджує ймовірність того, що | Sn - 3,5 n | < (35n/12) ^{1 / 2} близька до Ф ( ) - Ф (- ). При n = 1000 і а = 1 ми знаходимо, що ймовірність нерівності 3450 <Sn <3550 дорівнює приблизно 0,68. Вибравши для а значення а ₀ = 0,6744, що задовольняє співвідношенню Ф ( ₀₎ - Ф (- ₀₎ = 1 / 2, ми отримаємо, що для Sn шанси знаходитися всередині або поза інтервалу 3500 36 приблизно однакові.
б) Вибірка. Припустимо, що в генеральній сукупності,
складається з N сімей, Nk сімей мають рівно по k дітей
(K = 0, 1 ...; Nk = N). Якщо сім'я обрана навмання, то число дітей в ній є випадковою величиною, яка приймає значення з імовірністю p ₌ N / N. При виборі з поверненням можна розглядати вибірку обсягу n як сукупність n незалежних випадкових величин або «спостережень» _1, ..., _n, які мають всі одне і те ж розподіл; S _n / n є середнім значенням вибірки. Закон великих чисел стверджує, що для досить великої випадкової вибірки її середнє значення буде, ймовірно, близьким до , Тобто, до середнього значення генеральної сукупності. Центральна гранична теорема дозволяє оцінити ймовірну величину розбіжності між цими середніми значеннями і визначити обсяг вибірки, необхідний для надійної оцінки. На практиці і і зазвичай невідомі, а проте в більшості випадків вдається легко отримати попередню оцінку для і завжди можна укласти в надійні кордону. Якщо ми бажаємо, щоб з вірогідністю 0,99 або більшої середнє значення вибірки S _n / n відрізнялося від невідомого середнього значення генеральної сукупності менше, ніж на 1 / 10, то обсяг вибірки повинен бути взятий таким, щоб
(1.4)
Корінь х рівняння Ф (х) - Ф (- х) = 0,99 дорівнює х = 2,57 ..., і, отже, n повинно бути таким, що 2,57 або n> 660 . Обережна попередня оцінка дає можливість знайти необхідний обсяг вибірки.
в) Розподіл Пуассона.
Припустимо, що випадкові величини _k мають розподіл Пуассона {p (k; )}. Тоді Sn має розподіл Пуассона з математичним очікуванням і дисперсією, рівними n .
Написавши замість n , Ми робимо висновок, що при n

(1.5)
Підсумовування проводиться за всіма k від 0 до . Ф-ла (1.5) має місце і тоді, коли довільним чином.
Доказ закону великих чисел
Проведемо це доказ у два етапи. Спочатку припустимо, що існує, і зауважимо, що в цьому випадку D (S ") по теоремі про дисперсії суми. Згідно нерівності Чебишева, при будь-якому t> 0
(2.1)
При t> n ліва частина менша, ніж , А остання величина прагне до нуля. Це завершує першу частину докази.
Відкинемо тепер обмежувальне умова існування D ( ). Цей випадок зводиться до попереднього методом зрізання.
Визначимо два нові набори випадкових величин, що залежать від , Наступним чином:
U _k = , V _k = 0, якщо (2.2)
U _k = 0, V _k = , Якщо
Тут k = 1, ..., п і фіксовано. Тоді
= U _k + V _k (2.3)
при всіх k.
Нехай {f ( _j)} - розподіл ймовірностей випадкових величин (Однакове для всіх _j). Ми припустили, що = M ( ) Існує, так що сума
(2.4)
кінцева. Тоді існує і
(2.5)
де підсумовування проводиться по всіх тих j, при яких . Відзначимо, що хоча і залежить від п, але воно однакове для
U _1, U _2, ..., U _n. Крім того, при , І, отже, для довільного > 0 і всіх досить великих n
. (2.6)
Далі, з (2.5) і (2,4) випливає, що
(2.7)
U _k взаємно незалежні, і з їхньою сумою U ₁ + U ₂ + ... + U _n можна вчинити точно так само, як і з X _k у разі кінцевої дисперсії, застосувавши нерівність Чебишева, ми отримаємо аналогічно (2.1)

(2.8)
Внаслідок (2.6) звідси випливає, що
(2.9)
Далі зауважимо, що з великою ймовірністю V _k = 0. Дійсно,
(2.10)
Оскільки ряд (2.4) сходиться, остання сума прямує до нуля при зростанні n. Таким чином, при достатньо великому п
P {V _k 0} (2.11)
і отже
P {V ₁ + ... + V _n 0} . (2.12)
Але , І з (2.9) і (2.12) отримуємо
(2.13)
Так як і довільні, права частина може бути зроблена як завгодно малою, що і завершує доказ.
Теорія «безневинних» ігор
При подальшому аналізі сутності закону великих чисел будемо користуватися традиційною термінологією гравців, хоча наші розгляду допускають в рівній мірі і більш серйозні програми, а два наших основних припущення більш реальні в статистиці та фізики, ніж в азартних іграх. По-перше, припустимо, що гравець володіє необмеженим капіталом, так що ніякої програш не може викликати закінчення гри. (Відкидання цього припущення приводить до задачі про розорення гравця, яка завжди інтригує вивчають теорію ймовірностей.) По-друге, припустимо, що гравець не має вдачі перервати гру, коли йому заманеться: число п випробувань повинне бути фіксовано заздалегідь і не повинно залежати від ходу гри. Інакше гравець, ощасливлений необмеженим капіталом, дочекався б серії успіхів і в підходящий момент припинив би гру. Такого гравця цікавить не ймовірне коливання в заданий момент, а максимальні коливання у довгій серії партій, які описуються швидше законом повторного логарифма, ніж законом великих чисел.
Введемо випадкову величину _k як (позитивний або негативний) виграш при k-му повторенні гри. Тоді сума S _n = ₁ + ... + _k є сумарним виграшем при п повтореннях гри. Якщо перед кожним повторенням гравець сплачує за право участі в грі (не обов'язково позитивний) внесок , То п являє собою загальний сплачений ним внесок, a S _n - п загальний чистий виграш. Закон великих чисел застосуємо, якщо p = M ( _k) існує. Грубо кажучи, при великих п вельми правдоподібно, що різниця S _п - п виявиться малої проти п. Отже, якщо менше, ніж р, то при великих п гравець буде, ймовірно, мати виграш порядку . З тих же міркувань внесок практично напевно призводить до збитку. Коротше, випадок сприятливий для гравця, а випадок   несприятливий.
Зауважимо, що ми ще нічого не говорили про випадок . У цьому випадку єдино можливим укладанням є те, що при достатньо великому і загальний виграш чи програш S _n - п буде з дуже великою ймовірністю малим у порівнянні з п. Але при цьому невідомо, чи виявиться S _n - п позитивним чи негативним, тобто чи буде гра вигідною або руйнівної. Це не було враховано класичною теорією, яка називала нешкідливою ціною, а гру з «Невинною». Потрібно розуміти, що «необразлива» гра може насправді бути і явно вигідною і руйнівної.
Ясно, що в «нормальному випадку» існує не тільки M ( _k), але і D ( _k). У цьому випадку закон великих чисел доповнюється центральною граничною теоремою, а остання говорить про те, що дуже правдоподібно, що при «невинною» грі чистий виграш в результаті тривалої гри S _n - п буде мати величину порядку n ^{1 / 2} і що при достатньо великих п цей виграш буде з приблизно рівними шансами позитивним чи негативним. Таким чином, якщо застосовна центральна гранична теорема, то термін «невинна» гра виявляється виправданим, хоча навіть і в цьому випадку ми маємо справу з граничною теоремою, що підкреслюється словами "в результаті тривалої гри». Ретельний аналіз показує, що збіжність в (1.3) погіршується зі зростанням дисперсії. Якщо велике, то нормальне наближення виявиться ефективним тільки при надзвичайно великих п.
Для визначеності представимо машину, при опусканні в яку рубля гравець може з ймовірністю 10 виграти (10-1) рублів, а в інших випадках втрачає опущений рубль. Тут ми маємо випробування Бернуллі і гра є «невинною». Проробивши мільйон випробувань, гравець сплатить за це мільйон рублів. За цей час він може виграти 0, 1,2, ... разів. Згідно наближенню Пуассона для біноміального розподілу, з точністю до декількох десяткових знаків ймовірність виграти рівно до раз дорівнює e ^-1 / k!. Таким чином, з імовірністю 0,368. . . гравець втратить мільйон, і з тією ж ймовірністю він тільки окупить свої витрати; він має ймовірність 0,184 ... придбати рівно один мільйон і т. д. Тут ¹⁰ червня випробувань еквівалентні одному-едінствеіному випробуванню при грі з виграшем, які мають розподіл Пуассона.
Очевидно, безглуздо застосовувати закон великих чисел в такого роду ситуаціях. До цієї схеми належить страхування від пожежі, автомобільних катастроф і т. п. До ризику піддається велика сума, але зате відповідна ймовірність дуже мала. Однак тут відбувається зазвичай тільки одне випробування в рік, так що число п випробувань ніколи не стає більшим. Для застрахованої гра обов'язково не є «невинною», хоча, може бути, економічно цілком вигідною. Закон великих чисел тут не при чому. Що стосується страхової компанії, то вона має справу з великим числом ігор, але через велику дисперсії все ж виявляються випадкові коливання. Розмір страхових премій повинен бути встановлений таким, щоб запобігти великий збиток в окремі роки, і, отже, компанію цікавить швидше завдання про розорення, ніж закон великих чисел.
Коли дисперсія нескінченна, термін «невинна» гра стає безглуздим, нема ніяких підстав вважати, що загальний чистий виграш S _n - П коливається близько нуля. Дійсно. існують приклади «безневинних» ігор, в яких імовірність того, що в результаті гравець потерпить чистий збиток, прагне до одиниці. Закон великих чисел стверджує лише, що цей збиток буде величиною меншого порядку, ніж п. Проте нічого більшого стверджувати і не можна. Якщо а _п утворюють довільну послідовність, причому а _п / n 0 то можна влаштувати «нешкідливу» гру, в якій ймовірність того, що загальний чистий збиток у результаті п повторень гри перевищуємо a _n прагне до одиниці.