PandORA：面向 Open RAN 的深度强化学习智能体的自动化设计与综合评估
网络与互联网体系结构
2024-11-25 v2
摘要
NextG 无线通信系统高度异构的生态系统需要新颖的网络范式，其中功能和操作可以实时动态且最优地重新配置，以适应不断变化的流量条件并满足严格且多样化的服务质量 (QoS) 需求。Open RAN 技术，特别是由 O-RAN 联盟标准化的那些技术，使得通过智能应用（即 xApp 和 rApp）将网络智能集成到曾经单一的 RAN 中成为可能。这些应用通过数据驱动的智能控制回路，实现了对网络资源和功能、网络管理以及编排的灵活控制。最近的研究表明，深度强化学习 (DRL) 在动态控制 O-RAN 系统方面是有效的。然而，如何设计这些解决方案以管理异构优化目标并防止不公平的资源分配仍然是一个开放的挑战，DRL 智能体内部的逻辑通常被视为黑箱。在本文中，我们介绍了 PandORA，这是一个为 Open RAN 应用自动设计和训练 DRL 智能体、将其打包为 xApp 并在 Colosseum 无线网络仿真器中对其进行评估的框架。我们对 23 个 xApp 进行了基准测试，这些 xApp 嵌入了使用不同架构、奖励设计、动作空间和决策时间尺度训练的 DRL 智能体，并具有分层控制不同网络参数的能力。我们在 Colosseum 测试平台上，在静态和移动设置下，于多样的流量和信道条件下测试了这些智能体。我们的实验结果表明，根据网络条件和需求，适当微调 RAN 控制定时器，以及正确选择奖励设计和 DRL 架构，可以提升网络性能。值得注意的是，更精细的决策粒度可以将 mMTC 的性能提高约 56%，甚至将 eMBB 吞吐量提高约 99%。
引用
@article{arxiv.2407.11747,
title = {PandORA: Automated Design and Comprehensive Evaluation of Deep Reinforcement Learning Agents for Open RAN},
author = {Maria Tsampazi and Salvatore D'Oro and Michele Polese and Leonardo Bonati and Gwenael Poitau and Michael Healy and Mohammad Alavirad and Tommaso Melodia},
journal= {arXiv preprint arXiv:2407.11747},
year = {2024}
}
备注
18 pages, 26 figures. arXiv admin note: text overlap with arXiv:2309.05621