基于 epsilon-greedy 算法的复用 NCS 稳定性分析
系统与控制
2024-09-04 v1 系统与控制
摘要
本文研究具有复用通信和伯努利数据包掉落的 Networked Control System（NCS）。复用通信指的是由于带宽有限，控制信号和观测信号不能同时传输。首先，我们提出一种用于通信序列选择的 epsilon-greedy 算法，并确保均方稳定（MSS）。我们将系统建模为 Markovian Jump Linear System（MJLS），并以线性矩阵不等式（LMIs）形式给出 MSS 的必要条件，这些条件针对三个角例情况进行。我们证明了对于这三个角例的任意凸组合，系统均为 MSS。此外，我们提出使用满足 MSS 条件的 epsilon 进行 epsilon-greedy 算法，以用于训练深度 Q 网络（DQN）。DQN 用于获取最小二乘代价的优化通信序列。我们通过数值示例表明该方法在与轮转和随机方案的比较中具有有效性。
引用
@article{arxiv.2409.00949,
title = {Stability of multiplexed NCS based on an epsilon-greedy algorithm for communication selection},
author = {Harsh Oza and Irinel-Constantin Morarescu and Vineeth S. Varma and Ravi Banavar},
journal= {arXiv preprint arXiv:2409.00949},
year = {2024}
}
备注
A preliminary version of this article has been submitted to IEEE Control Systems articles