5G 下蜂窝连接无人机：用于干扰管理的深度强化学习
信息论
2019-05-03 v1 人工智能
计算机科学与博弈论
math.IT
摘要
本文提出一种面向蜂窝连接无人机（UAV）网络的干扰感知路径规划方案。具体而言，每架无人机旨在实现能量效率最大化与无线时延及沿其路径对地面网络所致干扰水平最小化之间的权衡。该问题被建模为无人机间的动态博弈。为求解此博弈，提出一种基于回声状态网络（ESN）细胞的深度强化学习算法。所引入的深度 ESN 架构经训练使每架无人机能将每次网络状态观测映射为动作，以最小化一串时间相关的效用函数。每架无人机利用 ESN 学习其沿路径不同位置处的最优路径、发射功率电平与小区关联向量。所提算法被证明在收敛时达到子博弈完美纳什均衡（SPNE）。此外，推导了无人机高度的上界与下界，从而降低了所提算法的计算复杂度。仿真结果表明，所提方案在每无人机无线时延和每地面用户（UE）速率方面表现更优，而所需步数与考虑沿最短距离移向相应目的地的启发式基线相当。结果还表明，无人机最优高度随地面网络密度与 UE 数据速率需求变化，并在最小化地面 UE 干扰水平及无人机无线传输时延方面起关键作用。
引用
@article{arxiv.1801.05500,
title = {Cellular-Connected UAVs over 5G: Deep Reinforcement Learning for Interference Management},
author = {Ursula Challita and Walid Saad and Christian Bettstetter},
journal= {arXiv preprint arXiv:1801.05500},
year = {2019}
}