优化理论课件(变分法与最优控制理论)
优化理论课件（2）
第二部分动态优化：变分法和最优控制理论
变分法是处理动态优化的古典方法，现在较少使用，在蒋中一的书中，变分法的思路可用来解释庞特里亚金最大值原理（一阶条件）。本部分内容主要来自蒋中一《动态最优化基础》。
目录
一、什么是动态优化？ (3)
（一）动态优化问题的基本要素 (4)
（二）泛函及其相关概念 (4)
（三）可变终结点 (5)
（四）横截条件 (7)
（五）目标泛函 (7)
二、变分法 (8)
（一）基本问题：固定终结点问题 (8)
（1）基本问题及其假定 (8)
（2）一阶条件：欧拉方程 (8)
（二）推广：多状态变量与高阶导数 (11)
（1）多状态变量 (11)
（2）高阶导数 (11)
（三）可变端点问题 (12)
（1）一般性横截条件 (12)
（2）垂直终结线问题 (13)
（3）水平终结线问题 (14)
（4）终结曲线问题，即错误！不能通过编辑域代码创建对象。 (14)
（5）截断的垂直终结线问题 (14)
（6）截断的水平终结线问题 (14)
（7）多变量和高阶导数情形 (15)
（四）二阶条件（充分条件） (15)
（1）固定端点问题的二阶条件及其二次型检验 (15)
（2）凹凸性充分条件 (16)
（3）变分 (17)
（五）无限期界问题 (18)
（1）收敛性 (18)
（2）横截条件 (19)
（3）充分条件 (19)
（六）带约束的优化问题 (19)
（1）等式约束 (19)
（2）不等式约束 (21)
（3）积分约束（等周问题） (21)
三、最优控制理论 (22)
（一）最优控制理论导论 (22)
（二）最大值原理及其横截条件 (23)
（1）最简单问题及最大值原理（一阶必要条件） (23)
（2）最大值原理的理论基础及其横截条件 (26)
（3）自控问题的汉密尔顿函数不变性 (29)
（4）推广到多变量 (29)
（三）最大值原理的经济学解释及现值的汉密尔顿函数 (30)
（1）最大值原理的经济学解释 (30)
（2）现值的汉密尔顿函数 (32)
（四）充分条件（二阶条件） (32)
（1）曼加萨林定理 (32)
（2）阿罗条件 (34)
（五）无限期界问题 (35)
（1）横截条件与反例 (35)
（2）作为充分条件一部分的横截条件 (36)
（六）有约束的最优控制问题 (36)
（1）涉及控制变量的约束 (37)
（2）状态空间约束 (43)
四、拉姆齐模型 (47)
（一）相关理论发展背景 (47)
（二）最简单的拉姆齐模型及其动力系统 (49)
（三）微分方程定性稳定性判别方法简介 (53)
（1）稳定性与渐进稳定性 (53)
（2）稳定性判别基本定理 (53)
（2）平面动力系统的奇点 (54)
一、什么是动态优化？
例：一个企业将原料从初始状态A通过五道工序，变为总结状态Z，每个阶段的选择对应一个阶段的成本，如何选择路径使得总成本最小化？
从这个例子中可以看到：首先，动态强调的是时期之间的联系，而不仅仅是有时间的顺序；其次，这里也包含了Bellman方程的基本原理。
如果是连续时间呢？（相加变为积分）
（一）动态优化问题的基本要素
由此可见，一个动态优化问题包含以下几个要素：
（1）一个给定的初始点和终点（终点不一定给定，后面详细说明）
（2）一组允许的路径
（3）对应于路径的指标（不同路径之间有什么不同的影响）
（4）特定目标，通过对路径的选择来实现目标。
（二）泛函及其相关概念
和之前的静态优化相比，动态优化的目标依赖于“路径”的选择，而不是某个变量（实数）的选择。从而，这个可优化的目标是“函数”到“实数”的映射，我们称之为“目标泛函”。
我们记为V[y(t)]（注意与复合函数相区别），表示目标泛函的值取决于函数y(t)。和微积分中的微分类比，微积分中的微分是自变量做微小变动后所导致的函数值的变动，而这里则是“路径”或者函数本身发生微小变动所导致的“泛函值”的变动，也就是“变分”。后面的变分法也就是这个思路。
（三）可变终结点
除了上文图中的固定终结点之外，还存在以下几种可变终结点：
（1）固定时间问题（垂直终结线问题）：终结时间固定，但终结状态自由。
（2）水平终结线问题：终结状态固定，但终结时间自由。
（3）终结曲线（曲面）问题
（四）横截条件
相比于固定终结点问题，可变终结点多了一个自由度，因此在确定最优路径的时候我们需要多一个条件，这个条件通常是来描述最优路径在穿过终结时刻时候的状态，被称为“横截条件”。
（五）目标泛函
在优化问题中，我们需要选择一个最优路径，那么最优意味着比较，比较的
是什么，取决于不同的路径如何影响我们关心的问题。
类似前面离散时间问题中不同路径在不同阶段对应着不同的成本，我们抽象
出一个路径在t 时刻，对应着的对优化目标的影响为该时点上的值为F(t,y,y’)。我们可以看到，这意味着在任何一时点，路径本身的值y 和y 对时间的导数y’都会影响我们的目标。将每一时点上的值加总在一起，我们就得到一个积分的形式，这是关于路径y(t)的泛函，是我们优化的目标，即目标泛函：
V[y]=0(,,)T
F t y y dt '?
如果有两个状态变量，我们也可以写为：V[y, z]= 0(,,,,)T
F t y z y z dt ''?
终结控制问题（迈耶问题）：有些问题的目标只跟终结时刻的位置有关，目标泛函可写作V[y]=G[T, y(T)]
博尔扎问题：V[y]=0(,,)T
F t y y dt '?+G[T, y(T)] 比如一个项目结束后，除了项目过程中的收益，还有项目结束时设备的残值。
但是这些非标准问题可以把形式标准化。
令z(t)=G[t, y(t)]，且z(0)=0，于是有
00()()()(0)()[,()]T T
z t dt z t z T z z T G T y T '==-==? 二、变分法
（一）基本问题：固定终结点问题
（1）基本问题及其假定
max （min ）V[y]=0(,,)T
F t y y dt '? s.t. y(0)=A y(T)=Z
假定：可行的“路径”集合限定为具有连续导数的连续曲线；被积函数F 是二阶可导的；最优解是一条光滑的曲线称为“极值曲线”。
（2）一阶条件：欧拉方程
假定极值曲线y*(t)已知，那么我们对其施加一个微小扰动，所产生的新曲线必定“劣”于它。任意给定一条连续光滑的扰动曲线p(t)，且p(0)=p(T)=0以
确保扰动后能满足初始点和终结点的约束。从而扰动后的曲线为y(t)=y*(t)+εp(t)，如图
这意味着y’(t)=y*’(t)+εp’(t)，且当ε→0，y→y*。
因此，一旦给定y*(t)和p(t)，目标泛函V[y]就退化为一个函数V(ε)。而且，当ε=0时，V 取极值。因此，给定之前关于本优化问题的假定，有
0dV
d εε==
因为V(ε)= **0[,()(),()()]T
F t y t p t y t p t dt εε''++? 定积分参数求导补充：若()
()()(,)x x x f x y dy βαΦ=?，
且若f(x,y)及其偏导数在R=[a,b] ×[α,β]上连续， α(x),β(x)都在[a,b]上可微，则
()
()(,)()[,()]()[,()]()x x f x y x dy f x x x f x x x x
βαββαα?'''Φ=+-?? 于是有000()[()()]T T T y y dV F F dy F dy dt dt F p t F p t dt d y d y d εεεε
''???'==+=+'?????? 要令dV/dε=0，我们必须要处理p(t)，因为其是任意的。根据假设条件可
以把积分写开：00()()0T T
y y F p t dt F p t dt ''+=?? 我们先对后半部分的积分用分部积分如下：
0000()()()()T
T T T y y y y dF dF F p t dt F p t p t dt p t dt dt dt '''''=-=-???
再将其代回原式，可以把积分的差写成差的积分，并提取公因子p(t)： 0()()0T
y y dF p t F dt dt '
-=?
于是，因为p(t)是任意的，该积分要保持始终为零，只可能是在[0, T]上 0y y dF F dt '
-=
该式就是极值曲线（最优路径）所必须满足的一阶条件（必要条件），欧拉方程。我们把式中的求导写开，可以发现欧拉方程实际上是一个二阶微分方程。 由()()y y y y y t y y y y dF F F F dy dy F F y t F y t dt t y dt y dt
'
'
''''''???''''=++=++'??? 有欧拉方程：()()0y y y y y t y F y t F y t F F '''''''++-=
二阶微分方程通解中通常会有两个任意常数，我们正好有起始两个固定端点来确定两个常数。
当然，也有可能解不存在，这种情况一般出现在F y’y’=0的情况。因为这种情况下，微分方程不再是二阶，不用确定两个常数，但是却又给出了两个常数，于是就可能出现不相容的情况。
（二）推广：多状态变量与高阶导数
（1）多状态变量
V[y 1,y 2,…,y n ]= 121
20(,,,...,,,,...,)T
n n F t y y y y y y dt '''? 按照同样的方法，欧拉方程组为：
0j j y y dF F dt '-=，j=1,…,n，对于所有t∈[0, T]
每个变量都有一对起止端点条件。但是这里的欧拉方程并不是单变量时的简单推广，因为j y F '是所有变量及其导数的函数。比如F(t, y, z, y’, z’)，于是
y y t y y y z y y y z dF F F y F z F y F z dt '
'''''''''''''=++++
（2）高阶导数
V[y]= ()0(,,,,...,)T
n F t y y y y dt '''?
这里出现了高阶导数，因此边界条件就不应该仅仅是y 的起止端点，还应该
包括y’,…y (n)在起止时刻的状态，一共2n 个边界条件。对该问题的解决，有两种思路，一是将该问题通过变量替换，变成n 个变量及其一阶导数的多变量问题（边界条件也满足）；另外，也可通过欧拉方程类似的推导，得到极值曲线的一阶条件，被称为“欧拉-泊松方程”：
()22...(1)0n n y y y n y n d F dF d F F dt dt dt '
''
-+-+-=
该方程一般是个2n 阶微分方程，通解中有2n 个待定常数，我们也正好有
2n 个边界条件。
（三）可变端点问题
max （min ）V[y]=0(,,)T
F t y y dt '? s.t. y(0)=A y(T)=y T ，其中y T 自由
如上，可变端点问题
（1）一般性横截条件
和之前用p(t)和ε来对极值曲线进行扰动一样，我们假设最优终结时间为
T*，在其附件对其进行一个扰动，任意给定一个扰动ΔT，T=T*+εΔT，于是有dT/dε=ΔT。同样地，扰动后的曲线为y(t)=y*(t)+εp(t)，为穿过固定的起始点，令p(0)=0，但是因为y(T)不固定，所以不要求p(T)=0。可见，当ε→0，y→y*，T→T*。
于是，我们将V[y]变为V(ε)，即
()
0()[,*()(),*()()]T V F t y t p t y t p t dt εεεε''=++?
于是有
()0[,(),()]T dV F dT dt F T y T y T d d εεεε
?'=+?? 等式右边第一项和前面推导欧拉方程的形式很像。但是，在推导欧拉方程时利用分部积分的时候第一项为零是因为p(0)=p(T)=0，这里p(T)=0不成立，所以消掉的那一项必须加上。于是，右边第一项为