基于学习的近似POMDP认知无线电频谱感知与接入
信号处理
2021-07-16 v1 机器学习
摘要
本文提出一种新颖的基于学习的频谱感知与接入（LESSA）框架，其中认知无线电（CR）学习无线电生态系统中授权用户（LU）频谱占用的时频相关模型；同时，在感知约束下设计近似最优的频谱感知与接入策略。提出一种Baum-Welch算法，基于含噪频谱测量学习LU频谱占用的参数化马尔可夫转移模型。将频谱感知与接入建模为部分可观测马尔可夫决策过程（POMDP），并通过随机点值迭代进行近似优化。提出分片、汉明距离状态滤波器与蒙特卡洛方法以缓解固有的计算复杂度，并提出加权奖励度量来调节CR吞吐量与LU干扰之间的权衡。数值评估表明，LESSA的性能在已知LU频谱占用的先知辅助上界的5%以内，并在整个权衡区域优于最先进算法：相比基于相关的聚类提升71%，相比Neyman-Pearson检测提升26%，相比Viterbi算法提升6%，相比自适应Deep Q-Network提升9%。随后将LESSA扩展至分布式多智能体设置（MA-LESSA），提出新颖的邻居发现与信道接入秩分配。MA-LESSA相比合作TD-SARSA提升CR吞吐量43%，相比合作贪婪分布式学习提升84%，相比基于g统计量与ACK的非合作学习提升3倍。最后，MA-LESSA在DARPA SC2平台上实现，在真实TDWR-UNII WLAN仿真中展现出优于竞争者的性能；并在ESP32无线电测试床上进一步验证其实现可行性，成功概率达96%。
引用
@article{arxiv.2107.07049,
title = {Learning-based Spectrum Sensing and Access in Cognitive Radios via Approximate POMDPs},
author = {Bharath Keshavamurthy and Nicolo Michelusi},
journal= {arXiv preprint arXiv:2107.07049},
year = {2021}
}
备注
33 pages, 9 figures, 1 table, Major Revisions under review at IEEE Transactions on Cognitive Communications and Networking (IEEE TCCN)