异构网络中用于多智能体功率控制的深度强化学习
信息论
2020-08-11 v2 信号处理
math.IT
摘要
我们考虑一个典型的异构网络（HetNet），其中部署多个接入点（AP）通过复用同一频谱带为用户服务。由于不同的 AP 和用户可能相互造成严重的干扰，需要先进的功率控制技术来管理干扰并提升整个网络的和速率。传统的功率控制技术首先收集瞬时全局信道状态信息（CSI），然后计算次优解。然而，在 HetNet 中收集瞬时全局 CSI 具有挑战性，因为全局 CSI 通常变化很快。在本文中，我们利用深度强化学习（DRL）来设计 HetNet 中的多智能体功率控制算法。具体而言，通过将每个 AP 视为带有局部深度神经网络（DNN）的智能体，我们提出一种多行动者共享评论家（MASC）方法，以在线试错方式分别训练局部 DNN。所提算法下，每个 AP 可仅利用局部观测，独立使用局部 DNN 控制发射功率。仿真结果表明，所提算法在收敛平均和速率与计算复杂度两方面均优于传统功率控制算法。
引用
@article{arxiv.2004.12095,
title = {Deep Reinforcement Learning for Multi-Agent Power Control in Heterogeneous Networks},
author = {Lin Zhang and Ying-Chang Liang},
journal= {arXiv preprint arXiv:2004.12095},
year = {2020}
}