无蜂窝网络中基于深度强化学习的分布式上行波束成形
信号处理
2021-10-25 v2 机器学习
摘要
新无线技术的出现与海量连接的需求导致了若干技术问题，如过度干扰、信号处理的高计算需求以及冗长的处理延迟。在本文中，我们针对具有集中式、半分布式和全分布式处理的无蜂窝上行网络提出了几种均基于深度强化学习（DRL）的波束成形技术。首先，我们提出一种使用具有连续空间的深度确定性策略梯度算法（DDPG）的完全集中式波束成形方法。随后我们通过使接入点（AP）获得分布式经验来增强该方法。事实上，我们开发了一种使用分布式分布确定性策略梯度算法（D4PG）且以 AP 作为分布式智能体的波束成形方案。最后，为降低计算复杂度，我们提出一种将波束成形计算在 AP 间分配的全分布式波束成形方案。结果表明，具有分布式经验的 D4PG 方案无论网络规模大小均取得最佳性能。此外，所提分布式波束成形技术仅在小型网络中优于集中式学习的 DDPG 算法。随着 AP 和/或用户数量的增加，DDPG 模型的性能优势变得更加明显。而且，在运行阶段，所有 DRL 模型的处理时间均显著短于传统梯度下降（GD）方案。
引用
@article{arxiv.2006.15138,
title = {Distributed Uplink Beamforming in Cell-Free Networks Using Deep Reinforcement Learning},
author = {Firas Fredj and Yasser Al-Eryani and Setareh Maghsudi and Mohamed Akrout and Ekram Hossain},
journal= {arXiv preprint arXiv:2006.15138},
year = {2021}
}