利用 McKean-Markov 分支采样求解 Feynman-Kac 正倒向随机微分方程
最优化与控制
2022-10-20 v1
摘要
我们提出一种新方法，用于数值求解随机最优控制问题中值函数的 Feynman-Kac 表示里出现的正倒向随机微分方程（FBSDE）。利用 Girsanov 概率测度变换，我们展示了只要在后向积分过程中对受控漂移项作适当补偿，便可利用 McKean-Markov 分支采样方法进行前向积分。随后，通过沿由轨迹样本构成的空间填充树的边向后逐时求解一系列函数逼近问题，提出了值函数的数值逼近。此外，我们发展了局部熵加权最小二乘蒙特卡洛（LSMC）方法，以将函数逼近精度集中到最优受控轨迹最可能访问的区域。所提方法在具有非二次运行代价的线性和非线性随机最优控制问题上进行了数值演示，相较以往基于 FBSDE 的数值求解方法展现出显著的收敛性改进。
引用
@article{arxiv.2210.10534,
title = {Solving Feynman-Kac Forward Backward SDEs Using McKean-Markov Branched Sampling},
author = {Kelsey P. Hawkins and Ali Pakniyat and Evangelos Theodorou and Panagiotis Tsiotras},
journal= {arXiv preprint arXiv:2210.10534},
year = {2022}
}