面向随机最优控制的前向-后向快速扩展随机树方法
最优化与控制
2021-03-29 v2 机器人学
系统与控制
系统与控制
摘要
我们提出一种数值方法，用于计算随机最优控制问题中值函数的Feynman-Kac表示里出现的前向-后向随机微分方程（FBSDE）。通过利用Girsanov概率测度变换，我们证明了只要在后向积分过程中对受控漂移项进行适当补偿，就可以将快速扩展随机树（RRT）方法用于前向积分过程。随后，通过沿所构造RRT的边在时间上向后求解一系列函数逼近问题，提出了值函数的数值逼近方法。此外，我们发展了局部熵加权最小二乘蒙特卡洛（LSMC）方法，以将函数逼近精度集中到最优受控轨迹最可能访问的区域。所提方法的结果在具有非二次型运行成本的线性和非线性随机最优控制问题上进行了演示，显示出相较先前基于FBSDE的数值求解方法的显著收敛性改进。
引用
@article{arxiv.2006.12444,
title = {Forward-Backward Rapidly-Exploring Random Trees for Stochastic Optimal Control},
author = {Kelsey P. Hawkins and Ali Pakniyat and Evangelos Theodorou and Panagiotis Tsiotras},
journal= {arXiv preprint arXiv:2006.12444},
year = {2021}
}