基于组合抽象的一般 MDP 通过近似概率关系的综合方法
系统与控制
2019-08-21 v1 系统与控制
摘要
我们提出一种利用近似概率关系构造一般马尔可夫决策过程 (gMDP) 抽象的组合方法。该抽象框架基于 -提升关系 (\delta-lifted relation) 的概念，利用它可量化互联 gMDP 与其抽象之间概率上的距离。这一新的近似关系通过显式地纳入状态转移之间的依赖关系，并允许抽象模型具有有限或无限状态空间，统一了文献中的组合性结果。据此，可利用所提结果在抽象模型上进行分析与综合，再将结果传递至具体模型。为此，我们首先利用基于提升的新近似概率关系给出组合性结果。接着关注一类随机非线性动力系统，并在统一框架中通过模型降阶与空间离散化构造其抽象。我们给出了同时存在的、纳入网络结构之关系的条件。最后，我们考虑一个由四个非线性动力子系统（共 12 维）组成的网络，并在统一组合框架中由其降阶版本（共 4 维）构造有限抽象，以证明所提结果的有效性。我们将结果与分两步构造无限抽象（降阶模型）和有限 MDP 的组合抽象技术进行基准对比。我们表明，我们的方法比现有文献中的方法保守性小得多。
引用
@article{arxiv.1906.02930,
title = {Compositional Abstraction-based Synthesis of General MDPs via Approximate Probabilistic Relations},
author = {Abolfazl Lavaei and Sadegh Soudjani and Majid Zamani},
journal= {arXiv preprint arXiv:1906.02930},
year = {2019}
}