基于鲁棒对抗强化学习的架空吊线毫米波波束跟踪零样本自适应
机器学习
2021-07-13 v2 网络与互联网体系结构
摘要
基于机器学习的毫米波（mmWave）波束跟踪能够在无需周期性求解波束优化问题的前提下建立精确的跟踪策略。然而，当影响节点动态的环境参数存在训练-测试鸿沟时，其适用性仍存争议。从这一质疑视角出发，本研究的贡献有两点。首先，通过一个示例场景，我们确认训练-测试鸿沟会对波束跟踪性能产生不利影响。更具体地，我们考虑部署在架空吊线上的节点，其节点动态受若干环境参数影响，例如吊线质量与张力。尽管这些是特定场景，却为验证训练-测试鸿沟问题提供了洞见。其次，我们论证了作为解决方案的“零样本自适应（zero-shot adaptation）”的可行性，即学习智能体可适应训练期间未见过的环境参数。这是通过利用鲁棒对抗强化学习（RARL）技术实现的，该技术将此类训练-测试鸿沟视为与合法波束跟踪智能体联合训练的对抗者所施加的扰动。数值评估表明，经由 RARL 学到的波束跟踪策略可应用于广泛的环境参数范围，而不会严重劣化接收功率。
引用
@article{arxiv.2102.08055,
title = {Zero-Shot Adaptation for mmWave Beam-Tracking on Overhead Messenger Wires through Robust Adversarial Reinforcement Learning},
author = {Masao Shinzaki and Yusuke Koda and Koji Yamamoto and Takayuki Nishio and Masahiro Morikura and Yushi Shirato and Daisei Uchida and Naoki Kita},
journal= {arXiv preprint arXiv:2102.08055},
year = {2021}
}
备注
13 pages, 13 figures, 3 tables, under submission for possible publication for IEEE