DRL遇见DSA网络：收敛性分析及其在系统设计中的应用
信号处理
2023-05-22 v1
摘要
在动态频谱接入(DSA)网络中，次级用户(SUs)需要机会式接入主用户(PUs)的无线电频谱而不造成显著干扰。由于SU与PU系统之间的交互有限，深度强化学习(DRL)被引入以帮助SU进行频谱接入。具体而言，深度循环Q网络(DRQN)已被用于DSA网络中，使SU聚合近期经验信息以做出频谱接入决策。DRQN以其样本效率低下而著称，即它需要相当大量的训练数据样本来调整参数，这是一项计算密集的任务。在我们近期的工作中，深度回声状态网络(DEQN)被引入DSA网络以解决DRQN的样本效率问题。本文中，我们从分析上证明DEQN相比DRQN收敛到最优策略所需的训练样本更少。此外，我们提出了一种为DEQN确定合适超参数的方法，为基于DEQN的DSA网络提供系统设计指导。广泛的性能评估证实，在计算能力方面，基于DEQN的DSA策略是更优选择，同时优于基于DRQN的DSA策略。
引用
@article{arxiv.2305.11237,
title = {DRL meets DSA Networks: Convergence Analysis and Its Application to System Design},
author = {Ramin Safavinejad and Hao-Hsuan Chang and Lingjia Liu},
journal= {arXiv preprint arXiv:2305.11237},
year = {2023}
}