向同伴学习：面向5G RAN切片中无线与缓存联合资源分配的深度迁移强化学习
系统与控制
2022-09-02 v4 网络与互联网体系结构
系统与控制
信号处理
摘要
网络切片是5G通信中的一项关键技术，涵盖无线接入网（RAN）、边缘、传输与核心网切片。演进中的网络架构需要对无线与缓存等多种网络资源进行编排。近年来，机器学习（ML）技术已广泛应用于网络管理。然而，现有大多数工作未利用ML中的知识迁移能力。本文中，我们提出一种深度迁移强化学习（DTRL）方案，用于服务5G RAN切片的无线与缓存联合资源分配。我们首先定义了联合资源分配的分层架构。随后提出两种DTRL算法：基于Q值的深度迁移强化学习（QDTRL）与基于动作选择的深度迁移强化学习（ADTRL）。在所提方案中，学习智能体利用专家智能体的知识来提升其在当前任务上的性能。所提算法与无模型探索奖励深度Q学习（EB-DQN）及基于模型的优先级比例公平与生存时间（PPF-TTL）算法进行了比较。与EB-DQN相比，我们提出的基于DTRL的方法对超可靠低时延通信（URLLC）切片呈现低21.4%的时延，对增强移动宽带（eMBB）切片呈现高22.4%的吞吐量，同时比EB-DQN收敛显著更快。此外，相对于PPF-TTL，观察到URLLC时延低40.8%、eMBB吞吐量高59.8%。
引用
@article{arxiv.2109.07999,
title = {Learning from Peers: Deep Transfer Reinforcement Learning for Joint Radio and Cache Resource Allocation in 5G RAN Slicing},
author = {Hao Zhou and Melike Erol-Kantarci and Vincent Poor},
journal= {arXiv preprint arXiv:2109.07999},
year = {2022}
}
备注
Accepted by IEEE Transactions on Cognitive Communications and Networking