POMDP 有限状态控制器的归纳综合
计算机科学中的逻辑
2022-03-24 v2
摘要
我们提出一种新颖的学习框架，用于获取部分可观测马尔可夫决策过程（POMDPs）的有限状态控制器（FSCs），并展示其在无限期界规范下的适用性。我们的框架建立在预言机引导的归纳综合之上，以紧凑表示可用 FSCs 的设计空间。该归纳综合方法包含两个阶段：外部阶段确定设计空间（即 FSC 候选集合），内部阶段高效探索设计空间。该框架易于推广，与现有方法相比展现出有前景的结果。实验表明，我们的技术（i）在无限期界性质上与最先进的基于信念的方法具有竞争力，（ii）对若干模型 yielding 比现有方法更小的 FSCs，（iii）自然地处理多目标规范。
引用
@article{arxiv.2203.10803,
title = {Inductive Synthesis of Finite-State Controllers for POMDPs},
author = {Roman Andriushchenko and Milan Ceska and Sebastian Junges and Joost-Pieter Katoen},
journal= {arXiv preprint arXiv:2203.10803},
year = {2022}
}