面向下一代无线网络的安全加速深度强化学习
网络与互联网体系结构
2022-09-29 v1 人工智能
机器学习
摘要
深度强化学习（DRL）算法近来在无线网络领域获得广泛关注，被视为解决下一代网络动态无线资源管理（RRM）问题的有前景方法。凭借构建无线网络环境近似且持续更新模型的能力，DRL算法可应对此类环境的多方面复杂性。然而，若干挑战阻碍了DRL在商用网络中的实际采用。本文中，我们首先讨论开发基于DRL的RRM方案时面临但鲜少解决的 two 项关键实际挑战。我们认为，要使DRL走向RRM商用方案，解决这些DRL相关挑战不可避免。具体而言，我们讨论对安全且加速的基于DRL的RRM方案的需求，以缓解DRL算法表现出的慢收敛与性能不稳定。随后我们梳理并归类RRM领域用于开发安全加速基于DRL方案的主要方法。最后，通过案例研究论证安全加速基于DRL的RRM方案的重要性：我们采用多种迁移学习（TL）技术变体加速智能无线接入网（RAN）切片基于DRL控制器的收敛，并提议一种混合TL方法与基于sigmoid函数的奖励作为基于DRL的RAN切片中安全探索的示例。
引用
@article{arxiv.2209.13532,
title = {Toward Safe and Accelerated Deep Reinforcement Learning for Next-Generation Wireless Networks},
author = {Ahmad M. Nagib and Hatem Abou-zeid and Hossam S. Hassanein},
journal= {arXiv preprint arXiv:2209.13532},
year = {2022}
}
备注
This article has been accepted for publication in a future issue of IEEE Network