开放无线接入网中基于深度强化学习的节能设计与评估
网络与互联网体系结构
2024-10-21 v1
摘要
已经广泛部署的下一代无线系统，预计在未来将变得更加普遍，这在环境和经济方面都带来了挑战。本文聚焦于通过使用深度强化学习（DRL）算法，即近端策略优化（PPO）和深度Q网络（DQN），对基站（BS）射频（RF）前端进行近实时动态激活和停用，来提高智能可编程开放无线接入网（RAN）系统的能效。这些算法运行在开放RAN架构中的RAN智能控制器（RIC）上，旨在基于历史数据做出最优的网络级决策，同时不影响稳定性和性能。我们利用一组丰富的关键性能测量（KPM）作为DRL的状态，以创建RAN的全面表示，并辅以一系列对RF前端施加控制的动作。我们扩展了ns-O-RAN（一个基于ns-3构建的、用于5G和开放RAN的开源、真实模拟器），进行了广泛的数据采集活动。这使我们能够使用超过30万个数据点离线训练智能体，并评估训练后模型的性能。结果表明，DRL智能体通过适应网络条件来提高能效，同时最小化对用户体验的影响。此外，我们还探讨了不同DRL智能体设计在吞吐量和能耗之间的权衡。
引用
@article{arxiv.2410.14021,
title = {Design and Evaluation of Deep Reinforcement Learning for Energy Saving in Open RAN},
author = {Matteo Bordin and Andrea Lacava and Michele Polese and Sai Satish and Manoj AnanthaSwamy Nittoor and Rajarajan Sivaraj and Francesca Cuomo and Tommaso Melodia},
journal= {arXiv preprint arXiv:2410.14021},
year = {2024}
}