深度回声状态 Q 网络（DEQN）及其在 5G 及未来动态频谱共享中的应用
机器学习
2020-10-13 v1
摘要
深度强化学习（DRL）已被证明在许多应用领域取得成功。将循环神经网络（RNNs）与 DRL 结合进一步使 DRL 能够通过捕捉时间信息而适用于非马尔可夫环境。然而，DRL 和 RNNs 的训练众所周知具有挑战性，需要大量训练数据以实现收敛。在许多目标应用中，例如第五代（5G）蜂窝通信中的应用，环境高度动态而可用训练数据非常有限。因此，开发能够以有限训练开销捕捉动态环境时间相关性的 DRL 策略极为重要。在本文中，我们引入深度回声状态 Q 网络（DEQN），其能在短时间内以有限训练数据适应高度动态的环境。我们在动态频谱共享（DSS）场景下评估所引入 DEQN 方法的性能，DSS 是 5G 及未来 6G 网络中提高频谱利用率的一项有前景的技术。与授予固定频段给单一系统独占接入的传统频谱管理策略相比，DSS 允许次要系统与主要系统共享频谱。我们的工作为在可用训练数据有限的高度动态环境中应用高效 DRL 框架提供了启示。
引用
@article{arxiv.2010.05449,
title = {Deep Echo State Q-Network (DEQN) and Its Application in Dynamic Spectrum Sharing for 5G and Beyond},
author = {Hao-Hsuan Chang and Lingjia Liu and Yang Yi},
journal= {arXiv preprint arXiv:2010.05449},
year = {2020}
}
备注
This work is accepted in IEEE Transactions on Neural Networks and Learning Systems