面向 Open RAN 边缘网络中深度强化学习智能体的实际部署
网络与互联网体系结构
2025-07-21 v2 人工智能
分布式、并行与集群计算
系统与控制
系统与控制
摘要
深度强化学习（DRL）已成为满足先进网络对连接性、可靠性、低延迟和运行效率日益增长需求的强大解决方案。然而，大多数研究集中于理论分析与模拟，对实际部署的探索有限。为弥合这一差距并支持 DRL 在网络管理中的实际部署，我们首先提出一个编排框架，将 ETSI 多接入边缘计算（MEC）与 Open RAN 集成，使 DRL 策略能够在不同时间尺度上无缝采用，同时增强智能体生命周期管理。随后，我们识别出三个阻碍 DRL 实际部署的关键挑战，包括：(1) 来自不可预测或突发流量的异步请求，(2) 在异构拓扑和不断演进的服务需求下的适应性与泛化能力，以及 (3) 由于在实时运行环境中探索而导致的收敛缓慢和服务中断。为应对这些挑战，我们提出三重解决方案策略：(a) 用于处理异步流量的高级时序集成，(b) 灵活架构设计如多智能体 DRL 与增量学习以支持异构场景，以及 (c) 基于模拟的部署与迁移学习以减少收敛时间和服务中断。最后，我们在城市级测试基础设施上验证了 MEC-O-RAN 架构的可行性，并展示了两个真实用例，呈现了上述三个已识别的挑战并证明了所提出解决方案的有效性。
引用
@article{arxiv.2410.23086,
title = {Towards Practical Operation of Deep Reinforcement Learning Agents in Real-World Network Management at Open RAN Edges},
author = {Haiyuan Li and Hari Madhukumar and Peizheng Li and Yuelin Liu and Yiran Teng and Yulei Wu and Ning Wang and Shuangyi Yan and Dimitra Simeonidou},
journal= {arXiv preprint arXiv:2410.23086},
year = {2025}
}