基于深度强化学习的无线传感器网络无人机轨迹规划以最小化能耗
系统与控制
2021-08-03 v1 机器学习
系统与控制
摘要
无人机（UAV）已成为大规模无线传感器网络（WSN）数据收集的一种有前景的候选方案。在本文中，我们研究了一种 UAV 辅助的 WSN，其中簇头（CH）从其成员节点接收数据，并派遣一架 UAV 沿规划轨迹从 CH 收集数据。我们的目标是在一轮完整的数据收集中最小化 UAV-WSN 系统的总能耗。为此，我们通过联合从簇内节点中选择 CH 并规划 UAV 对所选 CH 的访问顺序，将能耗最小化问题表述为一个约束组合优化问题。所表述的能耗最小化问题是 NP-hard 的，因此难以最优求解。为应对这一挑战，我们提出了一种新颖的深度强化学习（DRL）技术，指针网络-A*（Ptr-A*），它可以从经验中高效学习用于最小化能耗的 UAV 轨迹策略。将 UAV 的起点和具有一组预先确定簇的 WSN 输入到 Ptr-A* 中，Ptr-A* 输出一组 CH 及对这些 CH 的访问顺序，即 UAV 的轨迹。Ptr-A* 的参数通过在小规模簇问题实例上使用 actor-critic 算法以无监督方式进行训练，以加快训练速度。在推理时，还提出了三种搜索策略以提高解的质量。仿真结果表明，基于 20 簇和 40 簇训练的模型具有良好的泛化能力，可解决具有不同簇数的 WSN 中的 UAV 轨迹规划问题，而无需重新训练模型。此外，结果表明我们提出的 DRL 算法优于两种基线技术。
引用
@article{arxiv.2108.00354,
title = {UAV Trajectory Planning in Wireless Sensor Networks for Energy Consumption Minimization by Deep Reinforcement Learning},
author = {Botao Zhu and Ebrahim Bedeer and Ha H. Nguyen and Robert Barton and Jerome Henry},
journal= {arXiv preprint arXiv:2108.00354},
year = {2021}
}