用于无人机辅助在线能量传输与数据收集的车载深度 Q 网络
网络与互联网体系结构
2019-06-18 v1 机器学习
摘要
具有微波能量传输(MPT)能力的无人机(UAV)提供了一种实用手段,可将大量无线供能传感设备部署到无法获取持续电源的区域。无人机可远程为传感设备充电并收集其数据。一个关键挑战是在无人机车载控制(例如巡逻速度)存在的情况下进行在线 MPT 与数据收集,以防止传感设备的电池耗尽和数据队列溢出,而无人机处并无关于设备电池电量和数据队列的最新知识。本文开发了一种车载深度 Q 网络,通过最优决定待充电和 interrogated 以进行数据收集的设备以及无人机的瞬时巡逻速度,来最小化传感设备的总体数据包丢失。具体而言,我们以传感设备的电池电量和数据队列长度、信道条件以及给定无人机轨迹的路点作为状态,建立了一个马尔可夫决策过程(MDP);并用 Q-learning 求其最优解。此外,我们提出了可扩大 MDP 状态空间的车载深度 Q 网络,以及一种基于深度强化学习的调度算法,该算法可渐近地在线导出最优解,即便无人机仅拥有关于 MDP 状态的过时知识。数值结果表明,与现有的非学习贪心算法相比,所提深度强化学习算法将包丢失减少了至少 69.2%。
引用
@article{arxiv.1906.07064,
title = {On-board Deep Q-Network for UAV-assisted Online Power Transfer and Data Collection},
author = {Kai Li and Wei Ni and Eduardo Tovar},
journal= {arXiv preprint arXiv:1906.07064},
year = {2019}
}
备注
32 pages, 8 figures