Використання ланцюгів Маркова у моделюванні соціально економічних процесів

Тема:
"Використання ланцюгів Маркова у моделюванні соціально-економічних процесів"
Зміст:
1. Основні поняття теорії марковських ланцюгів.
2. Теорема про граничні ймовірності.
3. Області застосування ланцюгів Маркова.
4. Керовані ланцюга Маркова. Вибір стратегії.
Список використаної літератури.
§ 1. Основні поняття теорії марковських ланцюгів.

Нехай { , , ..., } - Безліч можливих станів деякої фізичної системи. У будь-який момент часу система може перебувати тільки в одному стані. З плином часу система переходить послідовно з одного стану в інший. Кожен такий перехід називається кроком процесу.
Для опису еволюції цієї системи введемо послідовність дискретних випадкових величин , ,..., , ... Індекс n грає роль часу. Якщо в момент часу n система перебувала в стані , То ми будемо вважати, що = J. Таким чином, випадкові величини є номерами станів системи.
Послідовність , ,..., , ... утворює ланцюг Маркова, якщо для будь-якого n і будь-яких , , ..., , ...
P ( = J / = , ..., = I) = P ( = J / = I).
Для ланцюгів Маркова ймовірність у момент часу n потрапити в стан , Якщо відома вся попередня історія досліджуваного процесу, залежить тільки від того, в якому стані знаходився процес у момент n-1. Тобто при фіксованому "справжньому" "майбутнє" не залежить від "минулого". Властивість незалежності "майбутнього" від "минулого" при фіксованому "справжньому" називається марковским властивістю.
Ймовірності ( = J / = I), i, j = 1,2 ,..., r називаються ймовірностями переходу зі стану в стан за один крок.
Ланцюг Маркова називається однорідною, якщо ймовірності переходу не залежать від n, тобто якщо ймовірності переходу не залежать від номера кроку, а залежать лише від того, з якого стану і в який здійснюється перехід. Для однорідних ланцюгів Маркова замість будемо писати .
Ймовірності переходу зручно розташовувати у вигляді квадратної матриці

Матриця P називається матрицею ймовірностей переходу однорідного ланцюга Маркова за один крок. Вона має такі властивості:
а) ;
б) для всіх i:
Квадратні матриці, для яких виконуються умови а) і б), називаються стохастичними.
Вектор , Де = P ( ), I = 1,2 ..., r називається вектором початкових ймовірностей.
Властивості однорідних ланцюгів Маркова повністю визначаються вектором початкових ймовірностей і матрицею ймовірностей переходу.
Наведемо приклад: Завод випускає телевізори певного типу. У залежності від того, чи знаходить даний тип телевізора попит у населення, завод в кінці кожного року може перебувати в одному із станів: стан 1 - попит є, стан 2 - попиту немає. Нехай імовірність зберегти стан 1 у в наступному році з урахуванням можливої ​​зміни попиту дорівнює , А ймовірність змінити стан 2 з урахуванням заходів щодо поліпшення моделі, що випускається дорівнює . Тоді процес виробництва на даному заводі можна описати ланцюгом Маркова з матрицею переходів:

У конкретних випадках для опису еволюції ланцюга Маркова замість явного виписування матриці P використовують граф, вершинами якого є стани ланцюга, а стрілка, що йде зі стану в стан з числом над нею показує, що зі стану в стан можливий перехід з імовірністю . У тому випадку, коли , Відповідна стрілка не проводиться.
Можна показати, що матриця ймовірностей переходу ланцюга Маркова за n кроків дорівнює n-го ступеня матриці P ймовірностей переходу за один крок. Для однорідного ланцюга Маркова при будь-якому m виконується рівність
P ( ) = P ( ).
Але остання ймовірність є ймовірність переходу зі стану в стан за n кроків.
§ 2. Теорема про граничні ймовірності.
У 1930 році Дж.Біркгофом і Дж.фон Нейманом була сформульована і доведена одна з основних ергодичної теорії - теорема про граничні ймовірностях:
Якщо при деякому всі елементи матриці = [ ] Позитивні, то існують межі
, I, j = 1,2 ,..., r.
Граничні ймовірності не залежать від початкового стану і є єдиним рішенням системи рівнянь

(1)

,
, J = 1, 2, ..., r.
Фізичний зміст цієї теореми полягає в тому, що ймовірності перебування системи в стані практично не залежать від того, в якому стані вона перебувала в далекому минулому.
Ланцюг Маркова, для якої існують межі , Називається ергодичної. Рішення ( , ,..., ) Написаної вище системи (1) називається стаціонарним розподілом ймовірностей для марківського ланцюга з матрицею переходу P = [ ].
Якщо зі стану система може перейти в стан з позитивною імовірністю за кінцеве число кроків, то говорять, що досяжно з .
Стан називається істотним, якщо для кожного стану , Досяжного з , досяжно з . Якщо ж для хоча б одного j досяжно з , А не досяжно з , То - Несуттєве стан.

§ 3. Області застосування ланцюгів Маркова.
Ланцюги Маркова служать гарним введенням в теорію випадкових процесів, тобто теорію простих послідовностей сімейств випадкових величин, зазвичай залежать від параметра, який в більшості додатків грає роль часу. Вона призначена, головним чином, для повного опису як довготривалого, так і локального поведінки процесу. Наведемо деякі найбільш вивчені в цьому плані питання.
Броунівський рух і його узагальнення - дифузійні процеси і процеси з незалежними приростами. Теорія випадкових процесів сприяла поглибленню зв'язку між теорією вірогідності, теорією операторів і теорією диференціальних рівнянь, що, крім іншого, мало важливе значення для фізики та інших програм. До числа додатків відносяться процеси, що представляють інтерес для актуарної (страховий) математики, теорії масового обслуговування, генетики, регулювання дорожнього руху, теорії електричних ланцюгів, а також теорії обліку та накопичення товарів.
Мартингалів. Ці процеси зберігають досить властивостей ланцюгів Маркова, щоб для них залишалися в силі важливі Ергодіческіе теореми. Від ланцюгів Маркова мартингалів відрізняються тим, що коли поточний стан відомо, тільки математичне очікування майбутнього, але необов'язково саме розподіл ймовірностей, не залежить від минулого. Крім того, що теорія мартингалів являє собою важливий інструмент для дослідження, вона збагатила новими граничними теоремами теорію випадкових процесів, що виникають в статистиці, теорії поділу атомного ядра, генетиці та теорії інформації.
Стаціонарні процеси. Найстаріша з відомих ергодичної теорії, як зазначалося вище, може бути інтерпретована як результат, описує граничне поведінка стаціонарного випадкового процесу. Такий процес має тим властивістю, що всі імовірнісні закони, яким він задовольняє, залишаються інваріантними щодо зрушень за часом. Ергодична теорему, вперше сформульовану фізиками в якості гіпотези, можна представити як твердження про те, що за певних умов середнє по ансамблю збігається із середнім по часу. Це означає, що одну й ту ж інформацію можна отримати з довготривалого спостереження за системою і з одночасного (і одномоментного) спостереження багатьох незалежних копій тієї ж самої системи. Закон великих чисел є не що інше, як окремий випадок ергодичної теореми Біркгофом. Інтерполяція і передбачення поведінки стаціонарних гауссовских процесів, що розуміються в широкому сенсі, служать важливим узагальненням класичної теорії найменших квадратів. Теорія стаціонарних процесів - необхідне знаряддя дослідження в багатьох областях, наприклад, в теорії зв'язку, яка займається вивченням і створенням систем, що передають повідомлення при наявності шуму або випадкових перешкод.
Марковські процеси (процеси без післядії) відіграють величезну роль у моделюванні систем масового обслуговування (СМО), а також у моделюванні і виборі стратегії управління соціально-економічними процесами, що відбуваються в суспільстві. В якості прикладу розглянемо керовані ланцюга Маркова.


§ 4. Керовані ланцюга Маркова. Вибір стратегії.

Завод з виготовлення телевізорів, перебуваючи в стані 1, може збільшити попит шляхом організації реклами. Це вимагає додаткових витрат і зменшує дохід. У стані 2 завод може збільшити ймовірність переходу в стан 1 шляхом збільшення витрат на дослідження. Виділимо дві стратегії. Перша полягає у відмові від витрат на рекламу і дослідження, а друга - у згоді на них. Нехай матриці перехідних ймовірностей і матриці доходів для даних стратегій мають вигляд:


У розглянутій ситуації має місце керована ланцюг Маркова. Управління відповідає вибору стратегії.
Нехай кожному стану відповідає кінцеве безліч рішень (або альтернатив), елементи якого позначимо номерами . Простором стратегій До називається прямий добуток множин рішень .
Нехай у i-му стані є не одне, а множин перехідних ймовірностей . При маємо випадок некерованою ланцюга Маркова. Якщо система знаходиться в стані і приймається рішення   то
- Вона отримує дохід ;
- Її стан в наступний момент часу визначається ймовірністю , Де - Імовірність того, що система зі стану при виборі рішення перейде в стан .
Таким чином, сенс -Го рішення в i-му стані полягає у виборі одного набору перехідних ймовірностей з можливих. Передбачається, що дохід обмежений при всіх і .
Крім того,
, при всіх і .
Керованої ланцюгом Маркова називається конструкція, що задається параметрами , Де К-рішення, Р-ймовірності переходів, r-доходи. Дохід, отриманий за кілька кроків, є випадковою величиною, що залежить від початкового стану і прийнятих в кожен момент часу рішень.
Назвемо рішення, прийняте в конкретний момент, приватним керуванням. Тоді управління є послідовність рішень у моменти n = 1, 2, ... Якість управління можна оцінити середнім сумарним доходом (при кінцевому часу) або середньому доходом в одиницю часу (при нескінченному часі).
Нехай (2)
Стратегією називається послідовність рішень

де - Вектор виду (2), i-я компонента якого, позначена через , Є рішенням, що приймаються в стані в момент п. Іншими словами, завдання стратегії означає повний опис в кожен момент часу t = 1, 2, ..., п, ... конкретних рішень, які повинні були б прийматися в i-му стані, якби система перебувала в ньому в даний момент.
Стратегія позначається через і називається стаціонарною. Стратегія називається марковської, якщо рішення , Прийняте в кожному конкретному стані, не залежить від попередніх станів і приймалися в них рішень. У разі марковської стратегії вирішення можуть залежати тільки від моменту часу п.
Позначимо довільну кінцеву частину стратегії через . Нехай зафіксовані довільна стратегія деякий момент часу п. Якщо в цей момент система перебувала в стані , То в наступний (п +1) - й момент часу вона перебуватиме в стані з імовірністю , Де . Тоді матриця ймовірностей переходу в момент п має вигляд

Таким чином, при фіксованій стратегії отримуємо ланцюг Маркова з матрицями переходу
Позначимо - Вектор сумарних середніх доходів, отриманих до будь-якого моменту n включно, для деякої стратегії . Стратегія максимізує , Тобто задовольняє нерівності
≥ за будь-яких
називається оптимальною
Вірні наступне твердження:
Твердження 1. Для нескінченного часу існує оптимальна стаціонарна стратегія.
Твердження 2. Для кінцевого часу існує оптимальна марковська стратегія.
Таким чином, рішення (при нескінченному часі) залежить тільки від стану, в якому знаходиться система, і не залежить ні від моменту часу, ні від усієї попередньої траєкторії послідовності станів і прийнятих рішень). У разі кінцевого часу оптимальна стратегія є марковської, тобто може залежати ще і від моменту часу прийняття рішення.
Список використаних джерел:
1. «Теорія вибору та прийняття рішень»: навчальний посібник. І.М. Макаров, Т.М.
Виноградська, А.А. Рубчинский, В.Б. Соколов. Москва, вид. «Наука», 1982.
2. «Теорія ймовірностей» Є.С. Вентцель. Москва, вид. «Наука», 1969.