预测如何影响 O-RAN 切片中 DRL 技术的收敛性
网络与互联网体系结构
2023-09-04 v1 机器学习
摘要
虚拟现实（VR）游戏和元宇宙服务等沉浸式应用的成功依赖于低延迟和可靠的连接。为了提供无缝的用户体验，开放无线接入网（O-RAN）架构和 6G 网络预计将发挥关键作用。RAN 切片作为 O-RAN 范式的关键组成部分，能够根据沉浸式服务的需求分配网络资源，在单一物理基础设施上创建多个虚拟网络。在 O-RAN 文献中，深度强化学习（DRL）算法常被用于优化资源分配。然而，DRL 在实际部署中的采用一直进展缓慢。这主要归因于 DRL 智能体在初始部署时以及网络条件发生显著变化时所面临的收敛缓慢和性能不稳定问题。在本文中，我们研究了流量需求的时间序列预测对基于 DRL 的切片智能体收敛性的影响。为此，我们进行了一项支持包括真实 VR 游戏流量在内的多种服务的详尽实验。然后，我们提出了一种新颖的 forecasting-aided DRL（预测辅助 DRL）方法及其相应的 O-RAN 实际部署工作流，以增强 DRL 收敛性。与所实现的基线相比，我们的方法在平均初始奖励值、收敛率和收敛场景数量上分别显示出高达 22.8%、86.3% 和 300% 的提升，增强了 DRL 智能体的泛化能力。结果还表明，我们的方法对预测误差具有鲁棒性，且预测模型不必是理想的。
引用
@article{arxiv.2309.00489,
title = {How Does Forecasting Affect the Convergence of DRL Techniques in O-RAN Slicing?},
author = {Ahmad M. Nagib and Hatem Abou-Zeid and Hossam S. Hassanein},
journal= {arXiv preprint arXiv:2309.00489},
year = {2023}
}
备注
This article has been accepted for presentation in IEEE GLOBECOM 2023