局部转移下约束MDP与随机最短路径的全多项式时间近似方案
人工智能
2023-04-19 v2
摘要
固定时域约束马尔可夫决策过程（C-MDP）是在操作约束下随机环境规划的知名模型。机会约束MDP（CC-MDP）是一类允许约束违反概率受限的变体，为许多安全关键应用所需。CC-MDP亦可建模一类称为随机最短路径（SSP）的MDP（含死端情形），其中存在到达目标概率与到达目标代价间的权衡。本文研究（C）C-MDP的结构，尤其涉及局部转移的重要变体。该变体中，状态可达性呈现一定局部性且独立于其余状态。更确切地说，在给定时刻，共享某些可达未来状态的状态数恒为常数。局部转移下（C）C-MDP即使规划时域为2亦为NP难。本文提出（C）C-MDP的全多项式时间近似方案，可计算（近）最优确定性策略。该算法属理论上可达的最优近似算法之一，并为约束MDP及其变体的可近似性提供洞见。
引用
@article{arxiv.2204.04780,
title = {A Fully Polynomial Time Approximation Scheme for Constrained MDPs and Stochastic Shortest Path under Local Transitions},
author = {Majid Khonji},
journal= {arXiv preprint arXiv:2204.04780},
year = {2023}
}