马尔可夫决策过程的无模型在线安全验证（无安全违规）
系统与控制
2023-12-11 v1 系统与控制
摘要
本文考虑在缺乏模型显式知识的情况下，对马尔可夫决策过程进行安全评估的问题。我们旨在学习与给定策略相关的概率安全规范，同时不损害过程的安全性。为实现这一目标，我们刻画了状态空间的一个子集，称为代理集，该子集包含在概率意义上接近由所有不安全状态组成的禁止集的状态。我们使用单步时序差分方法计算安全函数。为此，我们将安全函数计算与使用时序差分学习的值函数估计联系起来。由于给定的控制策略可能不安全，我们使用一个安全的基线子策略来生成学习数据。然后，我们使用带有重要性采样的离策略时序差分学习方法，学习与给定策略对应的安全函数。最后，我们通过一个数值示例展示了我们的结果。
引用
@article{arxiv.2312.05243,
title = {Online Model-free Safety Verification for Markov Decision Processes Without Safety Violation},
author = {Abhijit Mazumdar and Rafal Wisniewski and Manuela L. Bujorianu},
journal= {arXiv preprint arXiv:2312.05243},
year = {2023}
}