超越区间 MDP：随机系统的紧致高效抽象
系统与控制
2025-07-04 v1 系统与控制
摘要
本 work 聚焦于通过有限抽象实现对连续空间、离散时间随机系统的概率保证控制综合。虽然已有方法存在，但往往在精度与可计算性之间进行权衡。我们提出了统一的抽象框架，提升了概率保证的紧致性和计算效率。首先，引入多区间 MDP（MI-MDP），作为区间型 MDP（IMDP）的推广，允许多个可能重叠的后继状态簇，从而实现更紧致的抽象，但计算复杂度增加。为缓解此问题，进一步提出集合值转移概率的 MDP（SMDP）的推广形式，模型将转换建模为固定概率到达状态簇，随后在簇内进行非决定性选择，作为一种 sound 的抽象。我们证明，MI-MDP 的控制综合可通过线性规划实现鲁棒动态编程，而 SMDP 则采用更高效的综合算法，无需线性规划。理论上，我们证明给定状态和扰动空间的划分后，MI-MDP 和 SMDP 均比 IMDP 提供更紧致的概率保证，SMDP 也比 MI-MDP 更紧致。广泛实验验证了我们的理论结果，表明 SMDP 在紧致性、内存使用和计算时间之间实现了有利的权衡。
引用
@article{arxiv.2507.02213,
title = {Beyond Interval MDPs: Tight and Efficient Abstractions of Stochastic Systems},
author = {Ibon Gracia and Morteza Lahijanian},
journal= {arXiv preprint arXiv:2507.02213},
year = {2025}
}