基于时空流量预测的数据驱动基站休眠深度强化学习控制
网络与互联网体系结构
2021-01-22 v1 人工智能
分布式、并行与集群计算
摘要
为满足5G时代不断增长的移动流量需求，无线接入网（RANs）中已密集部署基站（BSs）以提升网络覆盖与容量。然而，由于基站高密度部署是为应对峰值流量而设计，若在非高峰时段保持开启，将造成不必要的巨大能耗。为节省蜂窝网络能耗，一种有效方法是停用部分不承载任何流量需求的空闲基站。本文提出一种流量感知的动态基站休眠控制框架DeepBSC，其提出了一种新颖的数据驱动学习方法，可在满足较低能耗与满意服务质量（QoS）要求的前提下确定基站的激活/休眠模式。具体而言，所提出的GS-STN模型利用移动流量的地理与语义时空相关性对流量需求进行预测。基于准确的移动流量预测，基站休眠控制问题被建模为马尔可夫决策过程，并由Actor-Critic强化学习方法求解。为降低动态环境中代价估计的方差，我们提出一种基准变换方法，为策略更新提供鲁棒的性能指标。为加速训练过程，我们采用深度确定性策略梯度（DDPG）方法并引入探索网络，以进一步增强探索能力。基于真实数据集的大量实验证实，我们所提框架显著优于现有方法。
引用
@article{arxiv.2101.08391,
title = {Deep Reinforcement Learning with Spatio-temporal Traffic Forecasting for Data-Driven Base Station Sleep Control},
author = {Qiong Wu and Xu Chen and Zhi Zhou and Liang Chen and Junshan Zhang},
journal= {arXiv preprint arXiv:2101.08391},
year = {2021}
}
备注
Accepted by IEEE/ACM Transactions on Networking, Jan. 2021