用于动态多信道接入的深度 Actor-Critic 强化学习框架
机器学习
2019-08-23 v1 信息论
math.IT
机器学习
摘要
为高效利用有限的频谱资源，本文提出一种基于深度 Actor-Critic 强化学习的动态多信道接入框架。我们同时考虑单用户情形和多用户同时尝试接入信道的场景。在单用户情形中，我们将所提框架用作单一智能体，并在多用户场景中将其扩展为去中心化的多智能体框架。在两种情形下，我们均为 Actor-Critic 深度强化学习开发了算法，并通过实验和数值结果评估所提出的学习策略。在单用户模型中，为评估所提信道接入策略的性能及框架对不确定性的容忍度，我们探索了不同的信道切换模式和不同的切换概率。在多用户情形中，我们分析了每个用户接入具有良好信道条件的信道的概率以及碰撞概率。我们还处理了一个时变环境，以识别所提框架的自适应能力。此外，我们在平均奖励和时间效率方面，对所提出的 Actor-Critic 深度强化学习框架、基于深度 Q 网络 (DQN) 的方法、随机接入以及信道动态已知时的最优策略进行了比较。
引用
@article{arxiv.1908.08401,
title = {A Deep Actor-Critic Reinforcement Learning Framework for Dynamic Multichannel Access},
author = {Chen Zhong and Ziyang Lu and M. Cenk Gursoy and Senem Velipasalar},
journal= {arXiv preprint arXiv:1908.08401},
year = {2019}
}
备注
14 figures. arXiv admin note: text overlap with arXiv:1810.03695