面向移动网络端到端资源编排的约束感知深度强化学习
网络与互联网体系结构
2021-10-12 v1
摘要
网络切片是一项有前景的技术，使移动网络运营商能够高效服务于5G中各种新兴用例。在根据服务等级协议（SLAs）保证网络切片性能的同时优化网络基础设施的利用率具有挑战性。为解决此问题，我们提出 SafeSlicing，其引入了一种新的约束感知深度强化学习（CaDRL）算法，通过两步学习最优资源编排策略，即在模拟环境中离线训练与在真实网络系统中在线学习。在优化资源编排时，我们使用拉格朗日乘子将切片统计性能上的约束纳入奖励函数，并通过策略网络求解拉格朗日松弛问题。为满足系统容量上的约束，我们设计了一个约束网络，将策略网络生成的潜在动作映射为编排动作，使得分配给网络切片的总资源不超过系统容量。我们在使用 OpenAirInterface LTE、基于 OpenDayLight 的 SDN 与 CUDA GPU 计算平台开发的端到端测试平台上对 SafeSlicing 进行了原型实现。实验结果表明，与其他方案相比，SafeSlicing 在满足网络切片 SLAs 的同时减少了超过20%的资源使用。
引用
@article{arxiv.2110.04320,
title = {Constraint-Aware Deep Reinforcement Learning for End-to-End Resource Orchestration in Mobile Networks},
author = {Qiang Liu and Nakjung Choi and Tao Han},
journal= {arXiv preprint arXiv:2110.04320},
year = {2021}
}
备注
This paper is accepted by IEEE ICNP 2021