深度强化学习用于 vRAN 成本感知重配置编排
网络与互联网体系结构
2023-07-07 v3
摘要
虚拟化无线接入网(vRANs)具有完全可配置性，并可在商用平台上以低成本实现，从而提供网络管理灵活性。本文提出了一种新颖的 vRAN 重配置问题，用于联合重配置基站(BSs)的功能分割、虚拟化中心单元(vCUs)与分布单元(vDUs)的位置、其资源以及每个 BS 数据流路由。目标是在适应变化流量需求与资源可用性的同时，最小化长期总网络运营成本。通过测试床测量研究了流量需求与计算资源之间的关系，结果显示其具有高方差且依赖于平台及其负载。因此，寻找底层系统的精确模型并非易事。为此，为解决所提问题，我们提出并基于无模型 RL 方法开发了深度强化学习(RL)框架。此外，该问题包含共享相同资源的多个 BSs，导致多维离散动作空间并产生组合数量的 Possible 动作。为克服维度灾难，将动作分支架构(一种带有共享决策模块后接神经网络的动作分解方法)与对决双重深度 Q 网络(D3QN)算法相结合。使用符合 O-RAN 的模型与测试床真实轨迹进行了仿真。数值结果表明，所提框架成功学习到自适应选择 vRAN 配置的最优策略，其学习收敛性甚至在不同 vRAN 系统中也可通过迁移学习进一步加速。与静态基准相比最高节省 59% 成本，与离散化 DDPG 相比节省 35%，与非分支 D3QN 相比节省 76%。
引用
@article{arxiv.2208.05282,
title = {Deep Reinforcement Learning for Orchestrating Cost-Aware Reconfigurations of vRANs},
author = {Fahri Wisnu Murti and Samad Ali and George Iosifidis and Matti Latva-aho},
journal= {arXiv preprint arXiv:2208.05282},
year = {2023}
}
备注
This article has been accepted for publication in IEEE Transactions on Network and Service Management