面向物联网网络中多无人机轨迹规划的模型辅助联邦强化学习
机器学习
2023-10-10 v2
摘要
部署无人机（UAV）团队从分布式物联网（IoT）设备收集数据需要高效的轨迹规划与协调算法。多智能体强化学习（MARL）已成为一种解决方案，但需要大量且昂贵的真实世界训练数据。为应对这一挑战，我们提出一种新颖的模型辅助联邦MARL算法，在仅掌握有限环境知识的情况下协调多架无人机执行数据收集任务。该算法在从真实世界测量中构建环境仿真模型（具体为学习无线信道特性并估计未知IoT设备位置）与在仿真环境中进行联邦QMIX训练之间交替进行。每个UAV智能体在其仿真环境中训练本地QMIX模型，并通过与其他智能体的联邦学习持续整合，从而加速学习过程。与标准MARL算法的性能对比表明，我们提出的模型辅助FedQMIX算法将真实世界训练经验需求降低了约三个数量级，同时达到了相似的数据收集性能。
引用
@article{arxiv.2306.02029,
title = {Model-aided Federated Reinforcement Learning for Multi-UAV Trajectory Planning in IoT Networks},
author = {Jichao Chen and Omid Esrafilian and Harald Bayerlein and David Gesbert and Marco Caccamo},
journal= {arXiv preprint arXiv:2306.02029},
year = {2023}
}