用于毫米波初始波束对准的深度强化学习
信息论
2023-02-20 v1 机器学习
math.IT
摘要
我们以最先进的近端策略优化算法为例，研究了深度强化学习算法在毫米波通信自适应初始接入波束对准问题中的适用性。与最近为解决此问题而开发的无监督学习方法相比，深度强化学习有潜力解决新的、更广泛的应用，因为原则上，训练不需要信道和/或整个系统的（可微）模型，只需要智能体与环境的交互（无论是在线还是使用记录的数据集）来学习算法。我们表明，尽管所选的现成深度强化学习智能体在现实问题规模上训练时表现不佳，但以波束成形模块的形式引入动作空间塑造极大地提高了性能，同时没有牺牲太多泛化能力。使用此附加组件，该智能体能够在模拟环境中，即使在现实问题规模下，也能提供与各种最先进方法相媲美的性能。这表明，通过有针对性的修改，深度强化学习可能有机会与该领域的其他方法竞争，从而为其他/类似场景开辟许多直接的扩展。
引用
@article{arxiv.2302.08969,
title = {Deep Reinforcement Learning for mmWave Initial Beam Alignment},
author = {Daniel Tandler and Sebastian Dörner and Marc Gauger and Stephan ten Brink},
journal= {arXiv preprint arXiv:2302.08969},
year = {2023}
}