无蜂窝网络中基于深度强化学习的节能波束成形设计
信息论
2021-02-08 v1 信号处理
math.IT
摘要
无蜂窝网络被视为一种有前景的架构，可满足未来无线网络的更多需求，其中分布式接入点与边缘云处理器协调，在紧凑区域内联合为较少数量的用户设备提供服务。本文研究了无蜂窝网络中借助深度强化学习（DRL）最大化长期能量效率（EE）的上行波束成形设计问题。首先，基于最小均方误差信道估计并利用连续干扰消除进行信号检测，推导了信干噪比（SINR）的表达式。其次，根据 SINR 的表述，我们定义了长期 EE，其为波束成形矩阵的函数。第三，为解决具有连续状态与动作空间的动态波束成形设计，利用双网络架构优势，提出了一种基于深度确定性策略梯度（DDPG）算法的 DRL 赋能波束成形设计。最后，仿真结果表明，基于 DDPG 的波束成形设计能够收敛到最优 EE 性能。此外，研究了超参数对基于 DDPG 的波束成形设计 EE 性能的影响，并证明适当的折扣因子与隐藏层规模有助于提升 EE 性能。
引用
@article{arxiv.2102.03077,
title = {Deep Reinforcement Learning for Energy-Efficient Beamforming Design in Cell-Free Networks},
author = {Weilai Li and Wanli Ni and Hui Tian and Meihui Hua},
journal= {arXiv preprint arXiv:2102.03077},
year = {2021}
}
备注
accepted by 2021 IEEE WCNC Workshops