关于部分可观测马尔可夫决策过程的 Anderson 加速
系统与控制
2021-03-30 v1 系统与控制
摘要
本文提出一种用于离线近似求解部分可观测马尔可夫决策过程 (POMDP) 问题的加速方法。我们的方法精心结合两种现有工具：Anderson 加速 (AA) 与快速信息界 (FIB) 方法。采用 AA，我们的方法通过高效组合先前的求解估计快速求解近似 Bellman 方程。此外，FIB 的使用缓解了 POMDP 中固有的可扩展性问题。我们证明了整体算法收敛到由 FIB 得到的次优解。我们进一步考虑一种基于仿真的方法，并证明近似误差被显式界定。我们的算法性能在若干基准问题上得到评估。实验结果表明，与标准对应方法相比，所提算法收敛显著更快且不降低解的质量。
引用
@article{arxiv.2103.15275,
title = {On Anderson acceleration for partially observable Markov decision processes},
author = {Melike Ermis and Mingyu Park and Insoon Yang},
journal= {arXiv preprint arXiv:2103.15275},
year = {2021}
}