基于深度强化学习的能量收集认知NOMA通信多维资源管理
信息论
2021-09-21 v1 机器学习
网络与互联网体系结构
信号处理
math.IT
摘要
能量收集（EH）、认知无线电（CR）与非正交多址（NOMA）的结合，是提升即将到来的超五代（B5G）网络能效与谱效的一种有前景的方案，尤其适用于支持物联网（IoT）系统中的无线传感器通信。然而，如何实现智能的频域、时域与能量资源分配以支撑更优性能，是一个亟待解决的重要问题。本文研究EH-CR-NOMA物联网系统的频谱、能量与时域联合资源管理。我们的目标是在满足主用户（PU）与次感知用户（SSU）的最大充电电池容量、最大发射功率、最大缓冲容量及最小数据速率约束下，最小化所有SSU的数据包丢失数。鉴于该优化问题的非凸性以及无线环境的随机性，我们提出一种基于深度强化学习（DRL）的分布式多维资源管理算法。考虑到待管理资源的连续性，采用深度确定性策略梯度（DDPG）算法，基于此每个智能体（SSU）可在无协作情况下管理自身多维资源。此外，引入一种简化但实用的动作调节器（AA）以提升训练效率并保护电池性能。所给结果表明，所提算法的收敛速度约为DDPG的4倍，平均丢包数（ANPL）约为贪心算法的1/8。
引用
@article{arxiv.2109.09503,
title = {Deep Reinforcement Learning Based Multidimensional Resource Management for Energy Harvesting Cognitive NOMA Communications},
author = {Zhaoyuan Shi and Xianzhong Xie and Huabing Lu and Helin Yang and Jun Cai and Zhiguo Ding},
journal= {arXiv preprint arXiv:2109.09503},
year = {2021}
}
备注
35 pages, 12 figures