修正的MSA、梯度流及其收敛性

修正的逐次逼近法（MSA）是一种基于庞特里亚金最优性原理的迭代格式，用于在连续时间内近似随机控制问题的解，它从初始开环控制出发，求解前向方程、后向伴随方程，然后执行静态最小化步骤。我们观察到这是梯度流系统的隐式欧拉格式。我们证明了修正 MSA 迭代的适当插值以速率 $\tau$ 收敛到梯度流。随后我们研究该梯度流当时间趋于无穷时的收敛性。在一般（非凸）情形下，我们证明了梯度项本身收敛到零。这是能量恒等式的结果，该恒等式表明优化目标沿梯度流递减。此外，在凸情形下，当庞特里亚金最优性原理提供最优性的充分条件时，我们证明了优化目标以速率 $\tfrac{1}{S}$ 收敛到其最优值，并在强凸性下以指数速率收敛。主要技术困难在于获得哈密顿量的适当性质（增长性、连续性）。这些是通过利用有界平均振荡（BMO）鞅的理论获得的，该理论用于对伴随倒向随机微分方程（BSDE）的估计。