OnSlicing：基于强化学习的在线端到端网络切片
网络与互联网体系结构
2021-11-03 v1 机器学习
摘要
网络切片允许移动网络运营商虚拟化基础设施，并提供定制化的切片，以支持具有异构需求的各种用例。在线深度强化学习（DRL）在解决网络问题和消除仿真与现实之间的差距方面显示出巨大潜力。然而，使用在线DRL优化跨域资源具有挑战性，因为DRL的随机探索会违反切片的服务等级协议（SLA）和基础设施的资源约束。在本文中，我们提出了OnSlicing，一个在线端到端网络切片系统，旨在满足切片SLA的同时实现最小的资源使用。OnSlicing通过使用一种新颖的约束感知策略更新方法和主动基线切换机制，允许每个切片进行个性化学习并维持其SLA。OnSlicing通过在切片中采用独特的动作修改设计以及在基础设施中进行参数协调，来遵守基础设施的资源约束。OnSlicing进一步通过离线模仿基于规则的解决方案，来缓解在线学习早期阶段性能不佳的问题。此外，我们设计了四个新的域管理器，以在亚秒级时间尺度上分别实现无线接入网、传输网、核心网和边缘网的动态资源配置。我们在基于OpenAirInterface（包含4G LTE和5G NR）、OpenDayLight SDN平台和OpenAir-CN核心网设计的端到端切片测试床上实现了OnSlicing。实验结果表明，与基于规则的解决方案相比，OnSlicing实现了61.3%的资源使用率降低，并在整个在线学习阶段保持接近零的违规（0.06%）。随着在线学习的收敛，与最先进的在线DRL解决方案相比，OnSlicing在没有任何违规的情况下减少了12.5%的资源使用。
引用
@article{arxiv.2111.01616,
title = {OnSlicing: Online End-to-End Network Slicing with Reinforcement Learning},
author = {Qiang Liu and Nakjung Choi and Tao Han},
journal= {arXiv preprint arXiv:2111.01616},
year = {2021}
}
备注
This paper is accepted by CoNEXT 2021