带 LTL 规范的 POMDP 随机有限状态控制
人工智能
2020-01-22 v1 形式语言与自动机理论
机器人学
系统与控制
系统与控制
最优化与控制
摘要
部分可观测马尔可夫决策过程（POMDPs）为不确定性与不完美感知下的自主决策（如机器人操控与自动驾驶）提供了建模框架。然而，POMDPs 的最优控制 notoriously 难以处理。本文考虑为 POMDPs 合成次优随机有限状态控制器（sFSCs）的定量问题，使得满足一组以线性时序逻辑（LTL）公式表述的高层规范的概率最大化。我们首先将该问题转化为优化问题，并基于泊松方程与 McCormick 包络进行松弛。随后，我们提出一种随机有界策略迭代算法，使 sFSC 规模受控增长并得到一个任意时间算法，其控制器性能随迭代逐步提升，但用户可基于时间或内存考量随时停止。我们通过一个机器人导航案例研究说明了所提方法。
引用
@article{arxiv.2001.07679,
title = {Stochastic Finite State Control of POMDPs with LTL Specifications},
author = {Mohamadreza Ahmadi and Rangoli Sharan and Joel W. Burdick},
journal= {arXiv preprint arXiv:2001.07679},
year = {2020}
}