SafeSlice：通过安全深度强化学习实现符合 SLA 要求的 O-RAN 分片
网络与互联网体系结构
2025-03-18 v1 人工智能
机器学习
摘要
基于深度强化学习（DRL）的分片策略在模拟环境中取得了显著的成功，但在物理系统（如开放无线接入网络 O-RAN）中面临挑战，由于模拟到现实的差距。这些策略往往缺乏安全保证，以确保符合服务级别协议（SLA）的要求，例如沉浸式应用的严格时延要求。结果是，部署的 DRL 分片代理可能在资源分配（RA）决策上导致系统性能下降，尤其是在以前未遇到的场景中。现实中的沉浸式应用需要在整个部署期间维持 SLA 约束，以防止风险的 DRL 探索。本文提出 SafeSlice 以解决 O-RAN 分片的累积（轨迹级）和瞬时（状态级）时延约束。我们通过设计基于 sigmoid 的风险敏感奖励函数来融入累积约束，该函数反映了分片的时延要求。此外，我们构建了一个监督学习成本模型作为安全层的一部分，将分片代理的 RA 动作投影到最近的安全动作，以满足瞬时约束。我们进行了一系列实验，支持多种服务，包括真实虚拟现实（VR）游戏流量，以探讨 SafeSlice 在极端和变化的部署条件下的性能。与基线方法相比，SafeSlice 在平均累积时延降低了最高可达 83.23%，瞬时时延违规降低了 93.24%，资源消耗降低了 22.13%。结果还表明 SafeSlice 对延迟约束阈值配置的变化具有鲁棒性，这一部署场景是由 O-RAN 范式赋能移动网络运营商（MNO）的关键因素。
引用
@article{arxiv.2503.12753,
title = {SafeSlice: Enabling SLA-Compliant O-RAN Slicing via Safe Deep Reinforcement Learning},
author = {Ahmad M. Nagib and Hatem Abou-Zeid and Hossam S. Hassanein},
journal= {arXiv preprint arXiv:2503.12753},
year = {2025}
}
备注
This article has been accepted for presentation in the IEEE International Conference on Machine Learning for Communication and Networking (ICMLCN) 2025