从耗散理论到有限马尔可夫决策过程的组合式构造
系统与控制
2017-12-22 v1
摘要
本文关注一种为互联离散时间随机控制系统的有限马尔可夫决策过程进行组合式构造的方法。所提方法利用互联拓扑以及所谓随机存储函数的概念来描述子系统及其抽象模型的联合耗散型性质。在论文第一部分，我们推导了量化随机控制子系统互联与其抽象模型互联之间误差的耗散型组合条件。在第二部分，我们提出一种为满足某些增量无源性的离散时间控制系统的类别构造有限马尔可夫决策过程及其相应随机存储函数的方法。在该性质下，可通过输入与状态集的适当离散化来构造有限马尔可夫决策过程。此外，我们证明对于线性随机控制系统，上述性质可通过某些矩阵不等式轻易检验。我们将所提结果应用于环形建筑中的温度调节，通过组合式构造含 200 个房间的网络有限马尔可夫决策过程，其中组合性条件不要求对子系统数量或增益有任何约束。我们采用所构造的有限马尔可夫决策过程作为替代，以综合在有限时间范围内调节各房间温度的策略。
引用
@article{arxiv.1712.07793,
title = {From Dissipativity Theory to Compositional Construction of Finite Markov Decision Processes},
author = {Abolfazl Lavaei and Sadegh Soudjani and Majid Zamani},
journal= {arXiv preprint arXiv:1712.07793},
year = {2017}
}
备注
This work is accepted at the 21st ACM International Conference on Hybrid Systems: Computation and Control (HSCC),to be held in Porto from 11 to 13 April, 2018