基于协作分层深度强化学习的 RIS 辅助节能无线接入网联合休眠与功率控制
系统与控制
2024-07-09 v2 系统与控制
摘要
能效(EE)是预期 6G 网络最重要的指标之一,而休眠控制作为一种高性价比方法,可通过选择性关闭网络设备显著降低功耗。同时,可重构智能表面(RIS)已成为提升未来无线网络能效的一项有前景的技术。在本工作中,我们联合考虑 RIS 辅助节能网络的休眠与发射功率控制。特别地,考虑到休眠控制与功率控制的时间尺度差异,我们提出一种协作分层深度强化学习(Co-HDRL)算法,实现分层与智能决策。具体而言,Co-HDRL 中的元控制器利用交叉熵度量评估子控制器的策略稳定性,子控制器采用相关均衡选择最优联合动作。与传统 HDRL 相比,Co-HDRL 能生成更稳定的高层策略并作出低层动作选择。随后,我们引入分数规划方法用于 RIS 相移控制,在给定发射功率下最大化求和速率。此外,我们提出一种低复杂度代理优化方法作为 RIS 控制的基线。最后,仿真表明,RIS 辅助的休眠控制相比基线算法可实现低 16% 以上的能耗与高 30% 的能效。
引用
@article{arxiv.2304.13226,
title = {Cooperative Hierarchical Deep Reinforcement Learning based Joint Sleep and Power Control in RIS-aided Energy-Efficient RAN},
author = {Hao Zhou and Medhat Elsayed and Majid Bavand and Raimundas Gaigalas and Steve Furr and Melike Erol-Kantarci},
journal= {arXiv preprint arXiv:2304.13226},
year = {2024}
}
备注
This paper has been accepted by IEEE Transactions on Cognitive Communications and Networking