基于经济型MPC耗散理论的有折扣马尔可夫决策过程泛函稳定性
系统与控制
2022-04-01 v1 系统与控制
摘要
本文讨论在折扣最优准则下所得最优策略构成的闭环马尔可夫链（即马尔可夫决策过程(MDPs)）的泛函稳定性。我们基于状态分布下的概率测度（密度）考察MDPs的稳定性，并推广经济模型预测控制(Economic MPC)的耗散理论以刻画MDP稳定性。该理论要求满足耗散不等式的所谓存储函数。在概率测度空间及折扣设定下，我们引入确保MDP稳定性的新耗散条件。随后，我们利用有限时域最优控制问题生成有效的存储泛函。实践中，我们提议使用Q-learning计算存储泛函。
引用
@article{arxiv.2203.16989,
title = {Functional Stability of Discounted Markov Decision Processes Using Economic MPC Dissipativity Theory},
author = {Arash Bahari Kordabad and Sebastien Gros},
journal= {arXiv preprint arXiv:2203.16989},
year = {2022}
}
备注
This paper has been accepted to ECC2022. 6 pages