基于分层强化学习的 URLLC 业务通信高效编排
系统与控制
2023-07-26 v1 机器学习
系统与控制
摘要
超可靠低时延通信（URLLC）业务被设想用于实现 5G 中具备严格可靠性与时延要求的用例。实现 URLLC 业务的一种方法是利用强化学习（RL）高效分配无线资源。然而，采用传统 RL 方法时，决策变量（虽部署于不同网络层）通常在同一控制环路中优化，导致控制环路时延存在显著实际限制，并引发过量的信令与能耗。本文提出一种多智能体分层强化学习（HRL）框架，可实现具有不同控制环路时间尺度的多级策略。具有更快控制环路的智能体部署在更靠近基站处，而具有较慢控制环路的智能体位于边缘或更靠近核心网，为底层动作提供高层指导。基于现有文献中的一个用例，我们利用 HRL 框架优化了工业设备的最大重传次数与发射功率。我们在工厂自动化场景下的广泛仿真结果表明，与基线单智能体 RL 方法相比，HRL 框架取得了更优性能，且相较于单智能体 RL 方法显著降低了信令传输开销与时延。
引用
@article{arxiv.2307.13415,
title = {Communication-Efficient Orchestrations for URLLC Service via Hierarchical Reinforcement Learning},
author = {Wei Shi and Milad Ganjalizadeh and Hossein Shokri Ghadikolaei and Marina Petrova},
journal= {arXiv preprint arXiv:2307.13415},
year = {2023}
}
备注
This work has been accepted in IEEE 34th Annual International Symposium on Personal, Indoor and Mobile Radio Communications (PIMRC)