认知网络中用于同步感知与信道接入的深度强化学习
信息论
2021-10-28 v1 机器学习
math.IT
摘要
我们考虑认知无线网络中动态频谱接入(DSA)问题,由于窄带感知与传输,用户仅可获得部分观测。认知网络由主用户(PUs)与一个次用户(SU)组成,以时分双工机制运行。假设每个 PU 的流量模式对 SU 未知,并建模为有限记忆马尔可夫链。由于观测是部分的,因此信道感知与接入动作均影响吞吐量。目标是最大化 SU 的长期吞吐量。为实现该目标,我们开发了一种通过深度 Q-learning 学习接入与感知策略的新算法,称为用于感知与接入的双深度 Q 网络(DDQSA)。据我们所知,这是首篇通过深度 Q-learning 求解 DSA 的感知与接入策略的论文。其次,我们从理论上分析最优策略以验证 DDQSA 的性能。尽管一般 DSA 问题是 P-SPACE 困难的,我们针对循环用户动态的常见模型显式推导了最优策略。我们的结果表明 DDQSA 学到了一种实现感知与信道接入的策略,并显著优于现有方法。
引用
@article{arxiv.2110.14541,
title = {Deep Reinforcement Learning for Simultaneous Sensing and Channel Access in Cognitive Networks},
author = {Yoel Bokobza and Ron Dabora and Kobi Cohen},
journal= {arXiv preprint arXiv:2110.14541},
year = {2021}
}
备注
27 pages, 6 figures