DRAG：基于深度强化学习的异构网络中小基站激活
网络与互联网体系结构
2018-09-10 v1
摘要
异构网络（HetNet）中密集部署小型基站（SBS）以卸载宏基站（BS）的流量，被认为是满足空前移动流量需求的关键方案。SBS 的高密度是为流量高峰时段设计的，在非高峰时段消耗了不必要的大量能量。在本文中，我们提出一种基于深度强化学习的 SBS 激活策略，该策略激活最优的 SBS 子集，以在不损害服务质量的前提下显著降低能耗。具体而言，我们将 SBS 开关问题表述为一个可由 Actor Critic (AC) 强化学习方法求解的马尔可夫决策过程。为避免传统基于表格的方法过高的计算和存储成本，我们提出使用深度神经网络来近似 AC 方法中的策略和价值函数。此外，为加速训练过程，我们采用 Deep Deterministic Policy Gradient (DDPG) 方法以及一种新颖的动作精炼方案。通过大量数值模拟，我们表明所提方案在能量效率和计算效率方面均大幅优于现有方法。我们还表明所提方案可扩展到大型系统，在存储和计算上均具有多项式复杂度。
引用
@article{arxiv.1809.02159,
title = {DRAG: Deep Reinforcement Learning Based Base Station Activation in Heterogeneous Networks},
author = {Junhong Ye and Ying-Jun Angela Zhang},
journal= {arXiv preprint arXiv:1809.02159},
year = {2018}
}
备注
12 pages, 13 figures