虚拟化 RAN 中基于约束深度强化的功能分割优化
网络与互联网体系结构
2022-06-06 v2 信号处理
摘要
在虚拟化无线接入网（vRAN）中，基站（BS）功能被分解为可通过功能分割托管在集中单元或分布单元的虚拟化组件。这种灵活性有许多好处；然而，它也需要解决以最小化总网络成本的方式寻找 BS 功能最优分割的问题。底层 vRAN 系统复杂，对其精确建模并非易事。将功能分割问题公式化为最小化成本会导致一个可证为 NP-hard 的组合问题，且求解的计算代价高昂。本文提出一种约束深度强化学习（RL）方法来以对底层系统的最小假设求解该问题。由于在深度 RL 中，动作选择是神经网络推理的结果，它可实时完成，而用于更新神经网络的训练可在后台进行。然而，由于该问题是组合性的，即使对于少量功能，RL 问题的动作空间也会变得很大。因此，为处理如此大的动作空间，利用了基于链式规则随机策略，其中应用基于长短期记忆（LSTM）网络的序列到序列模型来估计选择功能分割动作的策略。然而，所采用的策略仍局限于无约束问题，且每个分割决策受 vRAN 约束要求的限制。因此，利用约束策略梯度方法来训练并引导策略满足约束。此外，采用通过贪心解码或温度采样的搜索策略来提升测试时的优化性能。使用合成和真实网络数据集进行了仿真以评估所提方案的性能。
引用
@article{arxiv.2106.00011,
title = {Constrained Deep Reinforcement Based Functional Split Optimization in Virtualized RANs},
author = {Fahri Wisnu Murti and Samad Ali and Matti Latva-aho},
journal= {arXiv preprint arXiv:2106.00011},
year = {2022}
}
备注
This article has been accepted for publication in IEEE Transactions on Wireless Communications