具有连通中断约束的无人机路径设计的迁移学习方法
机器人学
2022-11-08 v1 信号处理
摘要
连通感知路径设计在自主无人机（UAV）的有效部署中至关重要。近来，强化学习（RL）算法已成为解决此类复杂问题的流行方法，但RL算法收敛慢。本文提出一种迁移学习（TL）方法，利用先前在旧域训练的教师策略来促进智能体在新域中的路径学习。随着探索过程与训练继续，智能体基于与环境的后续交互在新域中精炼路径设计。我们考虑以sub-6 GHz为旧域、以毫米波（mmWave）为新域来评估该方法。先前在sub-6 GHz路径训练的教师路径策略，是我们公式化为约束马尔可夫决策过程（CMDP）的连通感知路径问题的解。我们采用基于Lyapunov的无模型深度Q网络（DQN）求解sub-6 GHz路径设计，保证连通约束满足。我们实证展示了该方法在不同城市场景下的有效性。结果表明，所提方法能显著减少mmWave下的训练时间。
引用
@article{arxiv.2211.03696,
title = {A Transfer Learning Approach for UAV Path Design with Connectivity Outage Constraint},
author = {Gianluca Fontanesi and Anding Zhu and Mahnaz Arvaneh and Hamed Ahmadi},
journal= {arXiv preprint arXiv:2211.03696},
year = {2022}
}
备注
14 pages,8 figures, journal paper