两跳协作中继网络中基于分层强化学习的中继选择与功率优化
系统与控制
2021-01-29 v2 机器学习
系统与控制
摘要
协作通信是提高频谱利用率的有效途径。为降低通信系统中断概率，多数研究基于信道状态信息（CSI）假设提出各种中继选择与功率分配方案。然而实践中难以获取准确 CSI。本文研究两跳协作中继网络在总发射功率约束下的中断概率最小化问题。我们采用强化学习（RL）方法中继选择与功率分配策略，其无需任何 CSI 先验知识，仅依赖与通信环境的交互。值得注意的是，当搜索空间过大时，包括多数深度强化学习（DRL）方法在内的传统 RL 方法表现不佳。因此，我们首先提出带基于中断的奖励函数的 DRL 框架作为基线，进而提出分层强化学习（HRL）框架与训练算法。与现有文献中其他基于 RL 方法的关键区别在于，我们所提 HRL 方法将中继选择与功率分配分解为两个分层优化目标，在不同层级训练。借助搜索空间简化，HRL 方法可解决稀疏奖励问题，而传统 RL 方法则失败。仿真结果表明，在相同中断阈值下，相较于传统 DRL 方法，HRL 训练算法可提前 30 次训练迭代收敛，并在两跳中继网络中降低 5% 中断概率。
引用
@article{arxiv.2011.04891,
title = {Hierarchical Reinforcement Learning for Relay Selection and Power Optimization in Two-Hop Cooperative Relay Network},
author = {Yuanzhe Geng and Erwu Liu and Rui Wang and Yiming Liu},
journal= {arXiv preprint arXiv:2011.04891},
year = {2021}
}