Локальные решения уравнения гамильтона-якоби-беллмана в задачах стохастической механики

12 апреля 2006 года
Юрченко Д.В.
(МИИТ, кафедра прикладной математики)

В задачах стохастического оптимального управления точные решения известны лишь для достаточно узкого класса проблем. С точки зрения приложений актуальными являются задачи, в которых рассматривается внешнее или параметрическое управление, ограниченное по модулю. Как правило, целью управления является минимизация средней энергии системы, движение которой описывается линейным, стохастическим, обыкновенным дифференциальным уравнением второго порядка. Метод динамического программирования позволяет свести исходную задачу к задаче отыскания решения для соответствующего уравнения Гамильтона-Якоби-Беллмана (ГЯБ). Это уравнение является уравнением параболического типа, нелинейным ввиду специфики выбранного управления и вырожденным для широкого класса систем. Для решения поставленной задачи предложен следующий подход. На первом этапе с помощью метода характеристик находится точное решение уравнения ГЯБ в некоторой неограниченной области фазовых переменных. Такое решение назовем локальным, а область, в которой это решение существует - внешней областью. Решение во внутренней области, являющейся дополнительной к внешней, строится численно, причем локальное аналитическое решение определяет краевые условия для уравнения ГЯБ в ограниченном фазовом пространстве. Доказано, что полученное таким образом локальное решение представляет асимптотику уравнения ГЯБ. Это означает, что при соответствующих изменениях границ внешней области, локальное решение мало отличается от истинного решения уравнения ГЯБ. Предложенную схему решения назовем методом гибридного решения.

В докладе сформулирован ряд задач, включая задачу для систем со многими степенями свободы, задачу управления жесткостью и моментом инерции системы, задачу для системы с гауссовым и пуассоновским внешним возмущением, для которых гибридный метод позволяет построить решения. Приведены результаты численного моделирования для линий переключения и линий уровня функционала качества.