基于迁移学习辅助分布式深度强化学习的网络切片
网络与互联网体系结构
2023-06-26 v2 机器学习
多智能体系统
摘要
深度强化学习(DRL)已日益用于处理网络切片中动态且复杂的资源管理。然而,DRL策略在真实网络中的部署因小区条件异构而复杂化。本文中,我们提出一种新颖的迁移学习(TL)辅助多智能体深度强化学习(MADRL)方法,结合智能体间相似性分析用于小区间切片间资源划分。首先,我们设计一种带信息共享的协调MADRL方法,智能地将资源划分给各切片并管理小区间干扰。其次,我们提出一种集成TL方法,在不同本地智能体间迁移已学习的DRL策略以加速策略部署。该方法由新的域与任务相似性度量方法及新的知识迁移方法组成,解决了从谁迁移及如何迁移的问题。我们在系统级模拟器中以大量仿真评估所提方案,表明我们的方法在性能、收敛速度与样本效率上优于最先进(SOTA)方案。此外,通过应用TL,我们取得了比无TL的协调MADRL方法高逾27%的额外增益。
引用
@article{arxiv.2301.03262,
title = {Network Slicing via Transfer Learning aided Distributed Deep Reinforcement Learning},
author = {Tianlun Hu and Qi Liao and Qiang Liu and Georg Carle},
journal= {arXiv preprint arXiv:2301.03262},
year = {2023}
}
备注
6 pages, 8 figures, IEEE Global Communications Conference 2022