面向无人机辅助网络信息年龄最小化的深度强化学习
信息论
2019-08-20 v2 网络与互联网体系结构
math.IT
摘要
无人机（UAVs）有望成为下一代无线系统的关键组成部分。因其部署灵活性，UAVs 正被视为从地面节点收集信息数据并无线上传至网络的高效方案。本文研究一种 UAV 辅助无线网络，其中能量受限的地面节点被部署以观测不同物理过程。在该网络中，因电池有限而有运行时间约束的 UAV 飞向地面节点接收关于其所观测过程的状态更新包。UAV 的飞行轨迹与状态更新包调度被联合优化，目标是使 UAV 处不同过程的信息年龄（AoI）值的加权总和最小，称为加权 sum-AoI。该问题被建模为具有有限状态与动作空间的有限 horizon（horizon，时域）马尔可夫决策过程（MDP）。由于状态空间极大，提出一种深度强化学习（RL）算法以获得最小化加权 sum-AoI 的最优策略，称为年龄最优策略。考虑了若干仿真场景以展示所提深度 RL 算法的收敛性。此外，结果还表明，相比基于距离和随机游走等基线策略，所提深度 RL 方法能显著改善每过程可实现的 sum-AoI。通过大量仿真也展示了各种系统设计参数对每过程最优可实现的 sum-AoI 的影响。
引用
@article{arxiv.1905.02993,
title = {Deep Reinforcement Learning for Minimizing Age-of-Information in UAV-assisted Networks},
author = {Mohamed A. Abd-Elmagid and Aidin Ferdowsi and Harpreet S. Dhillon and Walid Saad},
journal= {arXiv preprint arXiv:1905.02993},
year = {2019}
}
备注
This paper will be presented in IEEE Globecom, Waikoloa, HI, Dec. 2019