记忆受限部分可观随机控制中 HJB-FP 方程组的庞特里亚金极小值原理与前后向扫描法
最优化与控制
2023-02-08 v3
摘要
记忆受限部分可观随机控制（ML-POSC）是不完全信息与记忆受限下的随机最优控制问题。为获得 ML-POSC 的最优控制函数，需要求解前向 Fokker-Planck（FP）方程与后向 Hamilton-Jacobi-Bellman（HJB）方程的方程组。本文中，我们首先表明 HJB-FP 方程组可通过概率密度函数空间上的庞特里亚金极小值原理加以解释。基于这一解释，我们随后将前后向扫描法（FBSM）应用于 ML-POSC，该方法已在庞特里亚金极小值原理中使用。FBSM 是一种交替计算前向 FP 方程与后向 HJB 算法的算法。尽管 FBSM 的收敛性一般无法保证，但在 ML-POSC 中得以保证，因为 HJB-FP 方程的耦合在 ML-POSC 中仅限于最优控制函数。
引用
@article{arxiv.2210.13040,
title = {Pontryagin's Minimum Principle and Forward-Backward Sweep Method for the System of HJB-FP Equations in Memory-Limited Partially Observable Stochastic Control},
author = {Takehiro Tottori and Tetsuya J. Kobayashi},
journal= {arXiv preprint arXiv:2210.13040},
year = {2023}
}