具有随机包乱序的网络化控制系统的可证明强化学习
系统与控制
2023-12-13 v2 系统与控制
摘要
本文针对具有随机包乱序（PD）的线性网络化控制系统（NCSs）提出了一种随机最优控制问题，并证明了其具有唯一的稳定解。该问题通过提出强化学习算法来解决。首先提出了一种测量方法来处理 PD 并计算最新的控制输入。具有随机 PD 的 NCSs 被建模为随机 NCSs。然后，在给定成本函数的情况下，在该表述中推导出了修正的代数 Riccati 方程。我们提出了离线策略迭代和值迭代算法，以解决具有可证明收敛性的 MARE。这两种算法需要了解 NCS 动态和 PD 概率。为了消除这一限制，我们进一步设计了在线无模型离策略和 Q-learning 算法，并附带在线 PD 概率估计方法。这两种无模型算法均利用实时系统状态、控制输入和 PD 概率估计来解决最优控制问题。最后，仿真结果验证了所提出的表述和算法。
引用
@article{arxiv.2312.02498,
title = {Provable Reinforcement Learning for Networked Control Systems with Stochastic Packet Disordering},
author = {Wenqian Xue and Yi Jiang and Frank L. Lewis and Bosen Lian},
journal= {arXiv preprint arXiv:2312.02498},
year = {2023}
}
备注
This is a wrong version with problem setting and description errors in main sections