无人机到设备底层通信：基于多智能体深度强化学习的信息年龄最小化
系统与控制
2020-03-13 v1 系统与控制
摘要
近年来，无人机（UAV）已发现大量传感应用，预计将在下一个十年为世界经济增长贡献数十亿美元。为进一步提升此类应用中的服务质量（QoS），第三代合作伙伴计划（3GPP）已考虑采用地面蜂窝网络来支持无人机传感业务，亦称为蜂窝物联网无人机。本文中，我们考虑一种蜂窝物联网无人机，其中感知数据可通过蜂窝链路传输至基站（BS），或通过底层无人机到设备（U2D）通信传输至移动设备。为评估数据新鲜度，采用信息年龄（AoI），其中较低 AoI 意味着较新鲜的数据。由于无人机的 AoI 由其传感与传输过程中的轨迹决定，我们通过设计其轨迹来研究无人机的 AoI 最小化问题。该问题是一个具有无限状态-动作空间的马尔可夫决策问题（MDP），因此我们利用多智能体深度强化学习（DRL）来逼近状态-动作空间。随后，我们提出一种多无人机轨迹设计算法来求解该问题。仿真结果表明，我们的算法比贪婪算法与策略梯度算法实现了更低的 AoI。
引用
@article{arxiv.2003.05830,
title = {UAV-to-Device Underlay Communications: Age of Information Minimization by Multi-agent Deep Reinforcement Learning},
author = {Fanyi Wu and Hongliang Zhang and Jianjun Wu and Lingyang Song and Zhu Han and H. Vincent Poor},
journal= {arXiv preprint arXiv:2003.05830},
year = {2020}
}
备注
30 pages, 7 figures