Міністерство освіти РФ
Південно-Уральський державний університет
Кафедра Автоматики і управління
Реферат
з математичних основ теорії систем
на тему
Динамічне програмування та варіаційне числення
Виконав:
Група: ПС-263
Перевірив: різностатева О. А.
Челябінськ
2003
1. Динамічні задачі оптимізації управління
1.1. Постановка задачі динамічного програмування
Серед різноманітних завдань кібернетики значне місце займають завдання, в яких об'єкт управління знаходиться в стані безперервного руху і зміни під впливом різних зовнішніх і внутрішніх факторів. Завдання управління такими об'єктами відносяться до класу динамічних задач управління.
Об'єкт називається керованим, якщо серед діючих на нього різноманітних факторів є такі, розпоряджаючись якими, можна змінювати характер його руху. Такі цілеспрямовані дії називаються управліннями і позначаються u (t).
Характер руху об'єкта управління визначається системою диференціальних рівнянь, яку зручно скорочено записувати у векторній формі у вигляді одного диференціального рівняння:
x (t) = g (x, u), x (0) = c.
Управління u (t) входить в рівняння, так що це рівняння визначає не просто конкретне рух об'єкта, а лише його технічні можливості, які можуть бути реалізовані шляхом використання того чи іншого управління з простору допустимих управлінь U.
Оцінити, наскільки при тому чи іншому способі управління досягаються поставлені цілі, можна, як і раніше, шляхом введення цільової функції, яку в даному випадку зручно записати у вигляді
J = J [x (t), x (t), u (t), t].
Так, якщо u (t) - миттєва витрата палива, а x (t) - миттєва швидкість літака, то з точки зору витрат палива якість управління в будь-який момент часу може бути охарактеризоване величиною J (t) = u (t) / x ( t) (миттєву витрату палива на одиницю шляху), яка, природно, буде залежати від стану природи, тобто від сукупності зовнішніх факторів, що визначають умови польоту.
Цільова функція у вигляді, записаному вище, використовується рідко, тому що вона дає оцінку лише миттєвих значень керованого процесу, тоді як у більшості завдань буває необхідно оцінити процеси в об'єкті управління протягом усього часу управління від 0 до Т.
У багатьох випадках цільову функцію вдається підібрати так, що оцінку процесу в об'єкті керування можна зробити шляхом інтегрування цільової функції за весь час управління, тобто за критерій якості управління прийняти функціонал J (u) =
Так, якщо цільова функція має фізичний сенс втрат, то можна визначає сумарні втрати за весь процес управління.
Іноді в якості мети управління вдається задати бажаний хід процесу z (t). При цьому в якості цільової функції можна взяти квадрат або абсолютне значення відхилення процесу x (t) від бажаного:
J = [x (t)-z (t)] 2, J = | x (t)-z (t) |.
У цих випадках критерій якості управління буде визначати повну квадратичну або абсолютну помилку.
У динамічних задачах управління поряд з обмеженнями, що визначають простір допусхідшх. управлінь U, доводиться мати справу з інтегральними обмеженнями виду
Дуже часто, наприклад, доводиться стикатися з необхідністю обмеження меж зміни миттєвого значення деякого параметра а (х, u) у процесі управління. Позначимо через a0 те значення параметра а, перевищення якого є небажаним. Якщо підінтегральна функція H (х, u), яку в даному випадку функцією штрафу, визначити зі співвідношення
то інтегральне обмеження буде висловлювати вимога, щоб миттєве параметра а могло перевищувати а0 лише короткочасно і на незначну величину. Ця умова буде виконуватися тим жорсткіше, чим менше К. так, при К = 0 обмеження взагалі не буде допускати перевищення а над а0.
Такі обмеження виникають також тоді, коли доводиться мати справу з обмеженими ресурсами: може бути обмежене що знаходиться в розпорядженні кількість енергії, палива, якщо мова йде про траєкторіях, і т.п.
Наведені співвідношення дозволяють дати таке визначення оптимального управління в динамічних системах. Оптимальним називається управління u * (t), які обираються зі прастранства допустимих управлінь U, таке, яке для об'єкта, що описується диференціальним рівнянням, мінімізує критерій якості при заданих обмеженнях на використовувані ресурси.
1.2. Багатокрокові процеси управління
1.2.1. Поведінка динамічної системи як функція початкового стану
Знаходження оптимального управління в динамічних системах в багатьох випадках істотно полегшується, якщо процес управління вдається розбити природним або штучним шляхом на окремі кроки або етапи. Для того щоб вести розгляд у загальному вигляді, будемо вважати, що стан об'єкта описується багатовимірної змінної х = {x1 ,..., хn).
Припускаючи, що процес є некерованим і невизначеність у стані природи відсутня, диференціальне рівняння, що визначає рух об'єкта, запишемо у вигляді: x (t) = g (x), x (0) = c.
Рішення цього рівняння записують зазвичай як х = х (t), чим підкреслюється залежність рішення від часу. Однак не менш важливо те, що рішення рівняння залежить від початкового стану с. Тому більш суворої є така форма запису, яка показує явну залежність рішення х як від часу, так і початкового стану: х = х (c, t) = х [x (0), t].
Така форма запису дозволяє розглядати стан системи в довільний момент часу t як деяке перетворення початкового стану х (0) = с на інтервалі t.
Розглянемо рух об'єкта на інтервалі від 0 до t2, який проміжною точкою t1 розіб'ємо на два інтервали тривалістю t1 і τ = t2-t1.
Розглянемо три стану об'єкта управління:
початковий стан х (о) = с;
стан х (с, t1) в проміжний момент t1;
стан х (с, t2) в кінцевий момент t2;
До опису останнього стану можна підійти двояким чином. Цей стан можна розглядати або як перетворення початкового стану х (о) = с на інтервалі t2 = t1 + τ: х (с, t2) = х (с, t1 + τ) або як перетворення стану х (с, t1) на інтервалі τ : х (с, t2) = х [x (с, t1), τ].
Так як обидва вирази описують одне і те ж стан, то, прирівнюючи їх, отримуємо співвідношення: х (с, t1 + τ) = х [x (с, t1), τ].
1.2.2. Представлення динамічного процесу у вигляді послідовності перетворень
Припустимо, що динамічний процес х (с, t) на інтервалі від 0 до tf може бути природним або штучним чином представлений як багатокроковий, і знайдемо відповідний спосіб опису такого процесу. Для того щоб отримати багатокроковий процес, інтервал від 0 до tf слід розбити на n послідовних кроків, тривалості яких приймемо рівними τ1, τ2 ,..., τn. Позначимо через tk (k = 0 ,..., n) моменти закінчення k-го кроку так, що tk +1 = tk + τk +1, а через xk - стан об'єкта в момент tk: xk = x (c, tk ).
Розглянемо стан xk +1 = x (c, tk +1) = x (c, tk + τk +1). Цей вираз у можна представити у вигляді: xk +1 = x [x (c, tk), τk +1] = x (xk, τk +1).
Це співвідношення представляє стан об'єкта xk +1 як результат перетворення стану xk на (k +1)-му кроці.
Введемо в розгляд оператор Т, який буде означати перетворення стану процесу за один крок:
Т (xk) = x (xk, τk +1), k = 0, n-1. Тоді отримаємо: xk +1 = Т (xk).
Вважаючи k = 0, n-1, можемо описати весь динамічний процес у вигляді послідовності перетворень
x0 = c, x1 = Т (x0), ..., xn = Т (xn-1).
1.2.3. Багатокроковий процес управління
Динамічний процес, описуваний перетворенням xk +1 = Т (xk), є некерованим. Для отримання керованого багатокрокового процесу необхідно мати можливість на кожному кроці здійснювати не одне перетворення Т (хk), а одне з безлічі перетворень Тi (хk).
Зручно вважати, що конкретний вид перетворення буде залежати від параметра uk, який на k-му кроці може приймати одне з багатьох значень Uk. Параметр uk будемо називати управлінням, а безліч Uk - простором допустимих управлінь на k-му кроці. Перетворення, здійснюване на k-му кроці, тепер можна записати у вигляді
xk +1 = Т (xk, uk), uk
Якщо в цьому співвідношенні покласти послідовно tk = 0, n-1 і врахувати початковий стан х0, то отримаємо опис всього керованого багатокрокового процесу:
xk +1 = Т (xk, uk), uk
Дане співвідношення, зване різницевим рівнянням об'єкта управління, аналогічно диференціальному рівнянню, що дає опис безперервного динамічного процесу.
2. Оптимальне управління як варіаційна задача
2.1. Математичне формулювання задачі оптимального управління
Характерною тенденцією у побудові сучасних систем автоматичного управління є прагнення отримувати системи, які в деякому сенсі є найкращими. При управлінні технологічними процесами це прагнення виражається в тому, щоб покращувалися максимальну кількість продукції високої якості при обмеженому використанні ресурсів (сировини, енергії тощо). У системах управління кораблями, літаками, ракетами прагнуть мінімізувати час, після закінчення якого об'єкт виходить в задану точку або на задану траєкторію при обмеженні кута відхилення рулів, кількості витрачається палива і т. п. У стежать і стабілізуючих системах представляє інтерес досягнення максимальної точності при наявності всіляких обмежень, накладених на координати регульованого об'єкта, виконавчі елементи і регулятор. У всіх цих прикладах завдання управління зводяться до знаходження найкращого у певному сенсі слова процесу з безлічі можливих процесів, тобто відносяться до класу динамічних задач управління.
Як було показано раніше, математична формулювання динамічних задач оптимального управління зводиться до наступного. Є об'єкт управління, стан якого характеризується багатовимірної змінної х = {х1, ..., xn}. Характер процесів в об'єкті управління можна змінювати, використовуючи ту чи іншу упвленіе u з простору допустимих правлінь U. У загальному випадку управління u
За критерій якості управління приймається інтегральна оцінка виду
J (u) =
Як було встановлено раніше, оптимальним називається таке управління u * з безлічі допустимих управлінь U, при якому для об'єкта, що описується диференціальним рівнянням, і заданих обмеженнях на використовувані ресурси критерій якості управління приймає мінімальне (максимальне) значення.
Сформульована подібним чином задача оптимального управління відноситься до класу варіаційних задач, рішенням яких займається розділ математики, який отримав назву варіаційного числення. Величина J (u) отримала назву функціоналу. На відміну від функції, наприклад, f (x), чисельні значення якої задаються на множині значень аргументу х, чисельні значення функціонала J (u) задаються на безлічі всіляких управлінь u (t). Задача знаходження оптимального управління зводиться до того, щоб з безлічі допустимих управлінь U вибрати таке, при якому функціонал J (t) приймає мінімальне чисельне значення.
J (u) =
підлеглого лише диференціальному співвідношенню. Параметр λ, у функціоналі, який отримав назву множника Лагранжа, в задачах оптимізації управління відіграє роль «ціни» обмежених ресурсів. Його значення знаходиться з граничних умов варіаційної задачі.
Можливість спрощення варіаційної задачі з інтегральними обмеженнями за допомогою введення множників Лагранжа випливає з наступної теореми.
Теорема 1. Якщо u (t)-оптимальне управління, при якому функціонал J (u) =
Доказ: необхідно від протилежного. Нехай v (t)-інше управління, відмінний від u (t), причому таке, що
і виконана умова
Тоді
=
Найважливішим поняттям варіаційного числення є поняття варіації функції, яке при дослідженні функціоналів відіграє таку ж роль, як диференціал при дослідженні функцій.
Нехай f (x) - функція, неперервна на інтервалі [a, b]. Розглянемо внутрішню точку х цього інтервалу і деяке фіксоване значення диференціала аргументу функції Δx = dx. Різниця f (x + Δx)-f (x) = df (x) = f (x) Δx називається диференціалом функції f (x) в точці х. Як відомо, умова df (x) = 0 є необхідною умовою мінімуму (максимуму) функції f (x) в точці х.
Отримаємо аналогічні співвідношення в варіаціонномі численні.
Розглянемо завдання з закріпленими кінцями при фіксованому часі.
Нехай задана деяка цільова функція
J =
Нехай у нас є оптимальне рішення x (t) = x * (t).
Проведемо зрушення від цього рішення: виберемо довільну функцію η (t), таку, що η (t0) = η (tf) = 0, η (t)
x (t) = x * (t) + εη (t) і відповідно x (t) = x * (t) + εη (t), де ε = [ε1, ..., εn] T, ε
Таким образів вираз εη (t) є не що інше, як Δx для функції f (x), εη (t) називається варіацією функціонала.
При фіксованих x (t) і η (t), наша цільова функція буде функцією від ε:
J (ε) =
Рішення цього рівняння відомо, тому що це буде досягатися при ε = 0, x (t) = x * (t).
Розкладемо функцію J (ε) в ряд Тейлора в точці ε = 0n:
J (ε) = J (0n) +
Необхідна умова мінімуму J (ε)-J (0n) ≥ 0, тоді отримаємо
J (ε)-J (0n) =
Для того, щоб нерівність виконувалося перше складова має равняттся нулю (тому що воно може приймати як позитивні, так і негативні значення):
Якщо ця умова виконується, то отримаємо
J (ε)-J (0n) =
відкинемо члени малості більше 2.
- Друге необхідна умова екстремуму функціоналу.
У варіаційному численні умова δJ = 0 використовується для отримання так званого диференціального рівняння Ейлера, серед безлічі рішень якого і визначається потім управління u (t), що звертає в мінімум функціонал.
Застосуємо вище викладені міркування для виведення диференціального рівняння Ейлера.
Скористаємося I необхідна умова екстремуму функціонала
δJ =
=
=
Тобто отримаємо δJ =
За основною лемі варіаційного обчислення: якщо є функції r (t) і g (t), при t
g (t0) = g (tf) = 0 і =
Значить для
δJ =
Отримане рівняння називається рівнянням Ейлера (воно виражає 1-е необхідна умова екстремуму функціонала).
2.3. Труднощі, пов'язані з вирішенням варіаційної задачі
При знаходженні оптимального управління варіаційними методами доводиться стикатися з труднощами, ряд яких носить принциповий характер:
1. Варіаційні методи дають можливість знаходити тільки відносні максимуми і мінімуми функціонала J (u), тоді як інтерес представляє знаходження абсолютного максимуму або мінімуму.
2. Рівняння Ейлера для багатьох технічних завдань виявляються нелінійними, що часто не дає можливості отримати рішення варіаційної задачі в явному вигляді.
3. На значення керуючих сигналів звичайно бувають накладені обмеження, що роблять неможливим пошук оптимального управління варіаційними методами.
Оскільки остання обставина мало вирішальне значення для розвитку нових ідей в області оптимального управління, зупинимося на ньому більш докладно.
Звичайними обмеженнями, що накладаються на сигнали управління, є обмеження виду | ui (t) | ≤ Mi.
Означають необхідність обмеження за величиною сигналів, які підводяться до органів управління. Так, обмеженими є максимальне напруження, що підводиться до якоря електродвигуна, граничний кут повороту керма літака, гранична температура в камері Еран реактивного двигуна і т.п. При цьому одержання оптимальних процесів вимагає, як правило, підтримки сигналів управління на граничних значеннях, що відповідає найбільш швидкому та ефективному протіканню процесів в об'єкті управління. Типовий для цих випадків характер зміни управління u (t) при оптимальному процесі наведено на рис.1.
Рис.1. Характерний вид оптимального керуючого сигналу
Проте граничні значення управління u (t) лежать на кордонах області допустимих управлінь U і, отже, не є внутрішніми точками цій галузі, для яких тільки і можуть бути застосовані варіаційні
Один з підходів до обчислення оптимальних процесів отримав назву динамічного програмування. Метод динамічного програмування дає в руки інженера ефективну обчислювальну процедуру вирішення задачі оптимізації управління, добре пристосовану до використання ЕОМ. Цей метод ми розглянемо більш докладно.
2.4. Метод динамічного програмування
2.4.1. Дискретна форма варіаційної задачі
Подолання розглянутих труднощів рішення варіаційної задачі лежить на шляхах використання ефективних обчислювальних методів, одним з яких є метод динамічного програмування. Цей метод дає можливість знаходити оптимальне управління в багатокрокових завданнях. Проте він може застосовуватися і для вирішення варіаційних задач, якщо їх представити в дискретної формі.
Скориставшись теоремою, сформулюємо варіаційну задачу в наступному вигляді: для об'єкта, що описується диференціальним рівнянням, x (t) = g (x, u), x (0) = c, знайти керування u (t) з області допустимих управління U, що мінімізує функціонал
J (u) =
Дискретну форму запису цього завдання отримаємо, якщо вибір управління u (t) будемо робити тільки в дискретні моменти t = kδ, k = 0, n-1, де δ = Т / n, При цьому замість функції x (t) і u ( t) будемо розглядати послідовності
xk = x (t) | t = kδ, uk = u (t) | t = kδ.
Замінюючи похідну x = dx / dt на ставлення збільшень (xk +1- xk) / δ, замість диференціального рівняння отримуємо рівняння в кінцевих різницях:
Зазвичай це рівняння записують у більш зручній формі, дозволяючи його щодо хk +1: xk +1 = xk + g (xk, uk) δ, k = 0, n-1, x0 = c.
При цьому інтеграл
J (u) =
заміниться сумою
Jn (u) =
де під u розуміється послідовність використовуваних управлінь u = (u0, ..., un-1)
Тепер завдання полягає у виборі таких управлінь ui, які забезпечують мінімальне значення суми.
У багатьох завданнях управління виявляється доцільним вважати δ = 1. Зокрема, це зручно робити в тих випадках, коли процес природним чином розбивається на окремі кроки, причому в межах кожного кроку управління u (t) залишається незмінним. При цьому ми приходимо до багатокроковому процесу управління, розглянутому раніше, в якому xk і uk означають стан об'єкта і застосовується керування на початку кожного кроку.
2.4.2.Рекуррентное співвідношення методу динамічного програмування
Оптимізація управління n-крокового процесу полягає в тому, щоб знайти таку послідовність управлінь ui, при якій критерій якості Jn (u) приймає мінімальне значення. Це мінімальне значення критерію якості управління n-крокового процесу буде залежати тільки від початкового стану x0 і його можна позначати fn (x0). За визначенням маємо:
fn (x0) = min min ... min [Q (x0, u0) + Q (x1, u1) + ... + Q (xn-1, un-1)].
Зауважимо, що перший доданок цього виразу Q (x0, u0) залежить тільки від управління u0, тоді як інші складові залежать як від u0, так і від управлінь на інші кроки. Так, Q (x1, u1) залежить від u1, але воно залежить і від u0, так як x1 = T (x0, u0). Аналогічно йде справа і з іншими складовими. Тому вираз можна записати у вигляді
fn (x0) = min {Q (x0, u0) + min ... min [Q (x1, u1) + ... + Q (xn-1, un-1)]}.
Зауважимо далі, що вираз min ... min [Q (x1, u1) + ... + Q (xn-1, un-1)] представляє собою мінімальне значення критерію качествa управління (n-1)-крокового процесу, що має початковий стан х1. Відповідно до визначення цю величину можемо позначити через fn-1 (x1). Таким чином, отримуємо: fn (x0) = min {Q (x0, u0) + fn-1 (x1)}.
Ці міркування можна повторити, якщо розглянути (n-1)-кроковий процес, який з початкового стану x1. Мінімальне значення критерію якості управління для цього випадку fn-1 (x1) = min {Q (x1, u1) + fn-2 (x2)}.
Продовжуючи ці міркування, отримуємо аналогічне вираз для (n-k)-крокового процесу, який починається з стану xk:
fn-k (xk) = min {Q (xk, uk) + fn-(k +1) (xk +1)}.
Останнє рівняння, зване часто рівнянням Белмана, являє собою рекурентне співвідношення, що дозволяє послідовно визначати оптимальне керування на кожному кроці керованого процесу.
Сама ідея оптимізації управління на кожному кроці окремо, якщо важко оптимізувати відразу весь процес у цілому, не є оригінальною і широко використовується на практиці. Однак при цьому часто не беруть до уваги, що оптимізація кожного кроку ще не означає оптимізацію всього процесу в цілому.
Особливістю методу динамічного програмування є те, що воно поєднує простоту рішення задачі оптимізації управління на окремому кроці з далекоглядністю, що полягає в обліку найвіддаленіших наслідків цього кроку.
У методі динамічного програмування вибір управління на окремому кроці проводиться не з точки зору інтересів даного кроку, що виражаються у мінімізації втрат на даному кроці, тобто величини Q (xk, uk), а з точки зору інтересів всього процесу в цілому, що виражаються в мінімізації сумарних втрат Q (xk, uk) + fn-(k +1) (xk +1) на всіх подальших кроків. Звідси випливає основна властивість оптимального процесу, що полягає в тому, що які б не були початковий стан і початкова управління, наступні управління повинні бути оптимальними щодо стану, що є результатом застосування першого управління.
З основного властивості оптимального управління слід, що оптимізація управління для довільної стадії багатокрокового процесу полягає у виборі лише наступних управлінь. Тому буває зручно враховувати не ті кроки, які вже були пройдені, а ті, які залишилося виконати, для того щоб привести процес у кінцевий стан.
2.5. Варіаційна задача умовної мінімізації для умов у вигляді рівностей
Розглянута задача полягає у визначенні керуючих впливів u (t) мінімізують (або максимізує) показник якості J.
Об'єкт управління описується рівняннями: x = q (x, u, t),
y = g (x, t).
Складові q, g передбачаються безперервними по х і u і безперервно диференційовними по х. Об'єкт управління передбачається керованим і піднаглядним, тобто всі змінні стану доступні вимірюванню і збуджується будь-яке з станів керованого об'єкта.
Якщо змінні функції не є незалежними, а підпорядковані обмеженням типу рівностей, тобто f (x) = 0, то необхідні умови екстремуму визначаються методом множників Лагранжа.
Нехай цільова функція має вигляд:
J =
при обмеженнях fi (x (t), x (t), t) = 0, i = 1, m.
Завдання вирішується методом множників Лагранжа:
запишемо лагранжіан
J =
Запишемо більше в компактному вигляді:
J =
Першим необхідною умовою екстремуму функціонала J є δJ = 0.
Виробляючи міркування аналогічні вищевикладеним отримуємо рівняння:
Це рівняння називається рівнянням Ейлера-Лагранжа.
Південно-Уральський державний університет
Кафедра Автоматики і управління
Реферат
з математичних основ теорії систем
на тему
Динамічне програмування та варіаційне числення
Виконав:
Група: ПС-263
Перевірив: різностатева О. А.
Челябінськ
2003
1. Динамічні задачі оптимізації управління
1.1. Постановка задачі динамічного програмування
Серед різноманітних завдань кібернетики значне місце займають завдання, в яких об'єкт управління знаходиться в стані безперервного руху і зміни під впливом різних зовнішніх і внутрішніх факторів. Завдання управління такими об'єктами відносяться до класу динамічних задач управління.
Об'єкт називається керованим, якщо серед діючих на нього різноманітних факторів є такі, розпоряджаючись якими, можна змінювати характер його руху. Такі цілеспрямовані дії називаються управліннями і позначаються u (t).
Характер руху об'єкта управління визначається системою диференціальних рівнянь, яку зручно скорочено записувати у векторній формі у вигляді одного диференціального рівняння:
x (t) = g (x, u), x (0) = c.
Управління u (t) входить в рівняння, так що це рівняння визначає не просто конкретне рух об'єкта, а лише його технічні можливості, які можуть бути реалізовані шляхом використання того чи іншого управління з простору допустимих управлінь U.
Оцінити, наскільки при тому чи іншому способі управління досягаються поставлені цілі, можна, як і раніше, шляхом введення цільової функції, яку в даному випадку зручно записати у вигляді
J = J [x (t), x (t), u (t), t].
Так, якщо u (t) - миттєва витрата палива, а x (t) - миттєва швидкість літака, то з точки зору витрат палива якість управління в будь-який момент часу може бути охарактеризоване величиною J (t) = u (t) / x ( t) (миттєву витрату палива на одиницю шляху), яка, природно, буде залежати від стану природи, тобто від сукупності зовнішніх факторів, що визначають умови польоту.
Цільова функція у вигляді, записаному вище, використовується рідко, тому що вона дає оцінку лише миттєвих значень керованого процесу, тоді як у більшості завдань буває необхідно оцінити процеси в об'єкті управління протягом усього часу управління від 0 до Т.
У багатьох випадках цільову функцію вдається підібрати так, що оцінку процесу в об'єкті керування можна зробити шляхом інтегрування цільової функції за весь час управління, тобто за критерій якості управління прийняти функціонал J (u) =
Так, якщо цільова функція має фізичний сенс втрат, то можна визначає сумарні втрати за весь процес управління.
Іноді в якості мети управління вдається задати бажаний хід процесу z (t). При цьому в якості цільової функції можна взяти квадрат або абсолютне значення відхилення процесу x (t) від бажаного:
J = [x (t)-z (t)] 2, J = | x (t)-z (t) |.
У цих випадках критерій якості управління буде визначати повну квадратичну або абсолютну помилку.
У динамічних задачах управління поряд з обмеженнями, що визначають простір допусхідшх. управлінь U, доводиться мати справу з інтегральними обмеженнями виду
Дуже часто, наприклад, доводиться стикатися з необхідністю обмеження меж зміни миттєвого значення деякого параметра а (х, u) у процесі управління. Позначимо через a0 те значення параметра а, перевищення якого є небажаним. Якщо підінтегральна функція H (х, u), яку в даному випадку функцією штрафу, визначити зі співвідношення
то інтегральне обмеження буде висловлювати вимога, щоб миттєве параметра а могло перевищувати а0 лише короткочасно і на незначну величину. Ця умова буде виконуватися тим жорсткіше, чим менше К. так, при К = 0 обмеження взагалі не буде допускати перевищення а над а0.
Такі обмеження виникають також тоді, коли доводиться мати справу з обмеженими ресурсами: може бути обмежене що знаходиться в розпорядженні кількість енергії, палива, якщо мова йде про траєкторіях, і т.п.
Наведені співвідношення дозволяють дати таке визначення оптимального управління в динамічних системах. Оптимальним називається управління u * (t), які обираються зі прастранства допустимих управлінь U, таке, яке для об'єкта, що описується диференціальним рівнянням, мінімізує критерій якості при заданих обмеженнях на використовувані ресурси.
1.2. Багатокрокові процеси управління
1.2.1. Поведінка динамічної системи як функція початкового стану
Знаходження оптимального управління в динамічних системах в багатьох випадках істотно полегшується, якщо процес управління вдається розбити природним або штучним шляхом на окремі кроки або етапи. Для того щоб вести розгляд у загальному вигляді, будемо вважати, що стан об'єкта описується багатовимірної змінної х = {x1 ,..., хn).
Припускаючи, що процес є некерованим і невизначеність у стані природи відсутня, диференціальне рівняння, що визначає рух об'єкта, запишемо у вигляді: x (t) = g (x), x (0) = c.
Рішення цього рівняння записують зазвичай як х = х (t), чим підкреслюється залежність рішення від часу. Однак не менш важливо те, що рішення рівняння залежить від початкового стану с. Тому більш суворої є така форма запису, яка показує явну залежність рішення х як від часу, так і початкового стану: х = х (c, t) = х [x (0), t].
Така форма запису дозволяє розглядати стан системи в довільний момент часу t як деяке перетворення початкового стану х (0) = с на інтервалі t.
Розглянемо рух об'єкта на інтервалі від 0 до t2, який проміжною точкою t1 розіб'ємо на два інтервали тривалістю t1 і τ = t2-t1.
Розглянемо три стану об'єкта управління:
початковий стан х (о) = с;
стан х (с, t1) в проміжний момент t1;
стан х (с, t2) в кінцевий момент t2;
До опису останнього стану можна підійти двояким чином. Цей стан можна розглядати або як перетворення початкового стану х (о) = с на інтервалі t2 = t1 + τ: х (с, t2) = х (с, t1 + τ) або як перетворення стану х (с, t1) на інтервалі τ : х (с, t2) = х [x (с, t1), τ].
Так як обидва вирази описують одне і те ж стан, то, прирівнюючи їх, отримуємо співвідношення: х (с, t1 + τ) = х [x (с, t1), τ].
1.2.2. Представлення динамічного процесу у вигляді послідовності перетворень
Припустимо, що динамічний процес х (с, t) на інтервалі від 0 до tf може бути природним або штучним чином представлений як багатокроковий, і знайдемо відповідний спосіб опису такого процесу. Для того щоб отримати багатокроковий процес, інтервал від 0 до tf слід розбити на n послідовних кроків, тривалості яких приймемо рівними τ1, τ2 ,..., τn. Позначимо через tk (k = 0 ,..., n) моменти закінчення k-го кроку так, що tk +1 = tk + τk +1, а через xk - стан об'єкта в момент tk: xk = x (c, tk ).
Розглянемо стан xk +1 = x (c, tk +1) = x (c, tk + τk +1). Цей вираз у можна представити у вигляді: xk +1 = x [x (c, tk), τk +1] = x (xk, τk +1).
Це співвідношення представляє стан об'єкта xk +1 як результат перетворення стану xk на (k +1)-му кроці.
Введемо в розгляд оператор Т, який буде означати перетворення стану процесу за один крок:
Т (xk) = x (xk, τk +1), k = 0, n-1. Тоді отримаємо: xk +1 = Т (xk).
Вважаючи k = 0, n-1, можемо описати весь динамічний процес у вигляді послідовності перетворень
x0 = c, x1 = Т (x0), ..., xn = Т (xn-1).
1.2.3. Багатокроковий процес управління
Динамічний процес, описуваний перетворенням xk +1 = Т (xk), є некерованим. Для отримання керованого багатокрокового процесу необхідно мати можливість на кожному кроці здійснювати не одне перетворення Т (хk), а одне з безлічі перетворень Тi (хk).
Зручно вважати, що конкретний вид перетворення буде залежати від параметра uk, який на k-му кроці може приймати одне з багатьох значень Uk. Параметр uk будемо називати управлінням, а безліч Uk - простором допустимих управлінь на k-му кроці. Перетворення, здійснюване на k-му кроці, тепер можна записати у вигляді
xk +1 = Т (xk, uk), uk
Якщо в цьому співвідношенні покласти послідовно tk = 0, n-1 і врахувати початковий стан х0, то отримаємо опис всього керованого багатокрокового процесу:
xk +1 = Т (xk, uk), uk
Дане співвідношення, зване різницевим рівнянням об'єкта управління, аналогічно диференціальному рівнянню, що дає опис безперервного динамічного процесу.
2. Оптимальне управління як варіаційна задача
2.1. Математичне формулювання задачі оптимального управління
Характерною тенденцією у побудові сучасних систем автоматичного управління є прагнення отримувати системи, які в деякому сенсі є найкращими. При управлінні технологічними процесами це прагнення виражається в тому, щоб покращувалися максимальну кількість продукції високої якості при обмеженому використанні ресурсів (сировини, енергії тощо). У системах управління кораблями, літаками, ракетами прагнуть мінімізувати час, після закінчення якого об'єкт виходить в задану точку або на задану траєкторію при обмеженні кута відхилення рулів, кількості витрачається палива і т. п. У стежать і стабілізуючих системах представляє інтерес досягнення максимальної точності при наявності всіляких обмежень, накладених на координати регульованого об'єкта, виконавчі елементи і регулятор. У всіх цих прикладах завдання управління зводяться до знаходження найкращого у певному сенсі слова процесу з безлічі можливих процесів, тобто відносяться до класу динамічних задач управління.
Як було показано раніше, математична формулювання динамічних задач оптимального управління зводиться до наступного. Є об'єкт управління, стан якого характеризується багатовимірної змінної х = {х1, ..., xn}. Характер процесів в об'єкті управління можна змінювати, використовуючи ту чи іншу упвленіе u з простору допустимих правлінь U. У загальному випадку управління u
За критерій якості управління приймається інтегральна оцінка виду
J (u) =
Як було встановлено раніше, оптимальним називається таке управління u * з безлічі допустимих управлінь U, при якому для об'єкта, що описується диференціальним рівнянням, і заданих обмеженнях на використовувані ресурси критерій якості управління приймає мінімальне (максимальне) значення.
Сформульована подібним чином задача оптимального управління відноситься до класу варіаційних задач, рішенням яких займається розділ математики, який отримав назву варіаційного числення. Величина J (u) отримала назву функціоналу. На відміну від функції, наприклад, f (x), чисельні значення якої задаються на множині значень аргументу х, чисельні значення функціонала J (u) задаються на безлічі всіляких управлінь u (t). Задача знаходження оптимального управління зводиться до того, щоб з безлічі допустимих управлінь U вибрати таке, при якому функціонал J (t) приймає мінімальне чисельне значення.
2.2. Постановка варіаційної задачі
Зазвичай завдання, що вимагають мінімізації функціонала, підлеглого диференціальному співвідношенню, при наявності інтегрального обмеження замінюються мінімізацією нового функціоналуJ (u) =
підлеглого лише диференціальному співвідношенню. Параметр λ, у функціоналі, який отримав назву множника Лагранжа, в задачах оптимізації управління відіграє роль «ціни» обмежених ресурсів. Його значення знаходиться з граничних умов варіаційної задачі.
Можливість спрощення варіаційної задачі з інтегральними обмеженнями за допомогою введення множників Лагранжа випливає з наступної теореми.
Теорема 1. Якщо u (t)-оптимальне управління, при якому функціонал J (u) =
Доказ: необхідно від протилежного. Нехай v (t)-інше управління, відмінний від u (t), причому таке, що
і виконана умова
Тоді
=
Найважливішим поняттям варіаційного числення є поняття варіації функції, яке при дослідженні функціоналів відіграє таку ж роль, як диференціал при дослідженні функцій.
Нехай f (x) - функція, неперервна на інтервалі [a, b]. Розглянемо внутрішню точку х цього інтервалу і деяке фіксоване значення диференціала аргументу функції Δx = dx. Різниця f (x + Δx)-f (x) = df (x) = f (x) Δx називається диференціалом функції f (x) в точці х. Як відомо, умова df (x) = 0 є необхідною умовою мінімуму (максимуму) функції f (x) в точці х.
Отримаємо аналогічні співвідношення в варіаціонномі численні.
Розглянемо завдання з закріпленими кінцями при фіксованому часі.
Нехай задана деяка цільова функція
J =
Нехай у нас є оптимальне рішення x (t) = x * (t).
Проведемо зрушення від цього рішення: виберемо довільну функцію η (t), таку, що η (t0) = η (tf) = 0, η (t)
Тоді наше рішення запишеться як
x (t) = x * (t) + εη (t) і відповідно x (t) = x * (t) + εη (t), де ε = [ε1, ..., εn] T, ε
Таким образів вираз εη (t) є не що інше, як Δx для функції f (x), εη (t) називається варіацією функціонала. При фіксованих x (t) і η (t), наша цільова функція буде функцією від ε:
J (ε) =
Рішення цього рівняння відомо, тому що це буде досягатися при ε = 0, x (t) = x * (t).
Розкладемо функцію J (ε) в ряд Тейлора в точці ε = 0n:
J (ε) = J (0n) +
Необхідна умова мінімуму J (ε)-J (0n) ≥ 0, тоді отримаємо
J (ε)-J (0n) =
Для того, щоб нерівність виконувалося перше складова має равняттся нулю (тому що воно може приймати як позитивні, так і негативні значення):
Якщо ця умова виконується, то отримаємо
J (ε)-J (0n) =
відкинемо члени малості більше 2.
- Друге необхідна умова екстремуму функціоналу.
У варіаційному численні умова δJ = 0 використовується для отримання так званого диференціального рівняння Ейлера, серед безлічі рішень якого і визначається потім управління u (t), що звертає в мінімум функціонал.
Застосуємо вище викладені міркування для виведення диференціального рівняння Ейлера.
Скористаємося I необхідна умова екстремуму функціонала
δJ =
=
=
Тобто отримаємо δJ =
За основною лемі варіаційного обчислення: якщо є функції r (t) і g (t), при t
g (t0) = g (tf) = 0 і =
Значить для
δJ =
Отримане рівняння називається рівнянням Ейлера (воно виражає 1-е необхідна умова екстремуму функціонала).
2.3. Труднощі, пов'язані з вирішенням варіаційної задачі
При знаходженні оптимального управління варіаційними методами доводиться стикатися з труднощами, ряд яких носить принциповий характер:
1. Варіаційні методи дають можливість знаходити тільки відносні максимуми і мінімуми функціонала J (u), тоді як інтерес представляє знаходження абсолютного максимуму або мінімуму.
2. Рівняння Ейлера для багатьох технічних завдань виявляються нелінійними, що часто не дає можливості отримати рішення варіаційної задачі в явному вигляді.
3. На значення керуючих сигналів звичайно бувають накладені обмеження, що роблять неможливим пошук оптимального управління варіаційними методами.
Оскільки остання обставина мало вирішальне значення для розвитку нових ідей в області оптимального управління, зупинимося на ньому більш докладно.
Звичайними обмеженнями, що накладаються на сигнали управління, є обмеження виду | ui (t) | ≤ Mi.
Означають необхідність обмеження за величиною сигналів, які підводяться до органів управління. Так, обмеженими є максимальне напруження, що підводиться до якоря електродвигуна, граничний кут повороту керма літака, гранична температура в камері Еран реактивного двигуна і т.п. При цьому одержання оптимальних процесів вимагає, як правило, підтримки сигналів управління на граничних значеннях, що відповідає найбільш швидкому та ефективному протіканню процесів в об'єкті управління. Типовий для цих випадків характер зміни управління u (t) при оптимальному процесі наведено на рис.1.
Рис.1. Характерний вид оптимального керуючого сигналу
Проте граничні значення управління u (t) лежать на кордонах області допустимих управлінь U і, отже, не є внутрішніми точками цій галузі, для яких тільки і можуть бути застосовані варіаційні
Один з підходів до обчислення оптимальних процесів отримав назву динамічного програмування. Метод динамічного програмування дає в руки інженера ефективну обчислювальну процедуру вирішення задачі оптимізації управління, добре пристосовану до використання ЕОМ. Цей метод ми розглянемо більш докладно.
2.4. Метод динамічного програмування
2.4.1. Дискретна форма варіаційної задачі
Подолання розглянутих труднощів рішення варіаційної задачі лежить на шляхах використання ефективних обчислювальних методів, одним з яких є метод динамічного програмування. Цей метод дає можливість знаходити оптимальне управління в багатокрокових завданнях. Проте він може застосовуватися і для вирішення варіаційних задач, якщо їх представити в дискретної формі.
Скориставшись теоремою, сформулюємо варіаційну задачу в наступному вигляді: для об'єкта, що описується диференціальним рівнянням, x (t) = g (x, u), x (0) = c, знайти керування u (t) з області допустимих управління U, що мінімізує функціонал
J (u) =
Дискретну форму запису цього завдання отримаємо, якщо вибір управління u (t) будемо робити тільки в дискретні моменти t = kδ, k = 0, n-1, де δ = Т / n, При цьому замість функції x (t) і u ( t) будемо розглядати послідовності
xk = x (t) | t = kδ, uk = u (t) | t = kδ.
Замінюючи похідну x = dx / dt на ставлення збільшень (xk +1- xk) / δ, замість диференціального рівняння отримуємо рівняння в кінцевих різницях:
Зазвичай це рівняння записують у більш зручній формі, дозволяючи його щодо хk +1: xk +1 = xk + g (xk, uk) δ, k = 0, n-1, x0 = c.
При цьому інтеграл
J (u) =
заміниться сумою
Jn (u) =
де під u розуміється послідовність використовуваних управлінь u = (u0, ..., un-1)
Тепер завдання полягає у виборі таких управлінь ui, які забезпечують мінімальне значення суми.
У багатьох завданнях управління виявляється доцільним вважати δ = 1. Зокрема, це зручно робити в тих випадках, коли процес природним чином розбивається на окремі кроки, причому в межах кожного кроку управління u (t) залишається незмінним. При цьому ми приходимо до багатокроковому процесу управління, розглянутому раніше, в якому xk і uk означають стан об'єкта і застосовується керування на початку кожного кроку.
2.4.2.Рекуррентное співвідношення методу динамічного програмування
Оптимізація управління n-крокового процесу полягає в тому, щоб знайти таку послідовність управлінь ui, при якій критерій якості Jn (u) приймає мінімальне значення. Це мінімальне значення критерію якості управління n-крокового процесу буде залежати тільки від початкового стану x0 і його можна позначати fn (x0). За визначенням маємо:
fn (x0) = min min ... min [Q (x0, u0) + Q (x1, u1) + ... + Q (xn-1, un-1)].
Зауважимо, що перший доданок цього виразу Q (x0, u0) залежить тільки від управління u0, тоді як інші складові залежать як від u0, так і від управлінь на інші кроки. Так, Q (x1, u1) залежить від u1, але воно залежить і від u0, так як x1 = T (x0, u0). Аналогічно йде справа і з іншими складовими. Тому вираз можна записати у вигляді
fn (x0) = min {Q (x0, u0) + min ... min [Q (x1, u1) + ... + Q (xn-1, un-1)]}.
Зауважимо далі, що вираз min ... min [Q (x1, u1) + ... + Q (xn-1, un-1)] представляє собою мінімальне значення критерію качествa управління (n-1)-крокового процесу, що має початковий стан х1. Відповідно до визначення цю величину можемо позначити через fn-1 (x1). Таким чином, отримуємо: fn (x0) = min {Q (x0, u0) + fn-1 (x1)}.
Ці міркування можна повторити, якщо розглянути (n-1)-кроковий процес, який з початкового стану x1. Мінімальне значення критерію якості управління для цього випадку fn-1 (x1) = min {Q (x1, u1) + fn-2 (x2)}.
Продовжуючи ці міркування, отримуємо аналогічне вираз для (n-k)-крокового процесу, який починається з стану xk:
fn-k (xk) = min {Q (xk, uk) + fn-(k +1) (xk +1)}.
Останнє рівняння, зване часто рівнянням Белмана, являє собою рекурентне співвідношення, що дозволяє послідовно визначати оптимальне керування на кожному кроці керованого процесу.
Сама ідея оптимізації управління на кожному кроці окремо, якщо важко оптимізувати відразу весь процес у цілому, не є оригінальною і широко використовується на практиці. Однак при цьому часто не беруть до уваги, що оптимізація кожного кроку ще не означає оптимізацію всього процесу в цілому.
Особливістю методу динамічного програмування є те, що воно поєднує простоту рішення задачі оптимізації управління на окремому кроці з далекоглядністю, що полягає в обліку найвіддаленіших наслідків цього кроку.
У методі динамічного програмування вибір управління на окремому кроці проводиться не з точки зору інтересів даного кроку, що виражаються у мінімізації втрат на даному кроці, тобто величини Q (xk, uk), а з точки зору інтересів всього процесу в цілому, що виражаються в мінімізації сумарних втрат Q (xk, uk) + fn-(k +1) (xk +1) на всіх подальших кроків. Звідси випливає основна властивість оптимального процесу, що полягає в тому, що які б не були початковий стан і початкова управління, наступні управління повинні бути оптимальними щодо стану, що є результатом застосування першого управління.
З основного властивості оптимального управління слід, що оптимізація управління для довільної стадії багатокрокового процесу полягає у виборі лише наступних управлінь. Тому буває зручно враховувати не ті кроки, які вже були пройдені, а ті, які залишилося виконати, для того щоб привести процес у кінцевий стан.
2.5. Варіаційна задача умовної мінімізації для умов у вигляді рівностей
Розглянута задача полягає у визначенні керуючих впливів u (t) мінімізують (або максимізує) показник якості J.
Об'єкт управління описується рівняннями: x = q (x, u, t),
y = g (x, t).
Складові q, g передбачаються безперервними по х і u і безперервно диференційовними по х. Об'єкт управління передбачається керованим і піднаглядним, тобто всі змінні стану доступні вимірюванню і збуджується будь-яке з станів керованого об'єкта.
Якщо змінні функції не є незалежними, а підпорядковані обмеженням типу рівностей, тобто f (x) = 0, то необхідні умови екстремуму визначаються методом множників Лагранжа.
Нехай цільова функція має вигляд:
J =
при обмеженнях fi (x (t), x (t), t) = 0, i = 1, m.
Завдання вирішується методом множників Лагранжа:
запишемо лагранжіан
J =
Запишемо більше в компактному вигляді:
J =
Першим необхідною умовою екстремуму функціонала J є δJ = 0.
Виробляючи міркування аналогічні вищевикладеним отримуємо рівняння:
Це рівняння називається рівнянням Ейлера-Лагранжа.