面向无人机辅助车载网络的深度强化学习
机器学习
2023-02-22 v9 人工智能
机器人学
系统与控制
系统与控制
机器学习
摘要
无人机(UAV)被设想为在未来智慧城市中补充5G通信基础设施。道路交叉口容易出现热点,车辆间有效通信颇具挑战。无人机可作为中继,具有价格低、易部署、视距链路和灵活移动等优势。本文研究了一种无人机辅助车载网络,其中无人机联合调整其传输控制(功率与信道)和三维飞行以最大化总吞吐量。首先,我们通过建模无人机/车辆的移动性和状态转移,构建了一个马尔可夫决策过程(MDP)问题。其次,我们使用一种深度强化学习方法即深度确定性策略梯度(DDPG)求解目标问题,并提出了三种具有不同控制目标的解决方案。深度强化学习方法通过与环境的互动而不知环境变量的情形下获得最优策略。考虑到我们问题中的环境变量未知且不可测,我们选择深度强化学习方法求解。此外,考虑到三维飞行的能耗,我们扩展所提方案以最大化单位能量总吞吐量。为根据预测鼓励或抑制无人机移动性,DDPG框架被修改,无人机自动调整其学习率。第三,在一个具有较小状态空间和动作空间的简化模型中,我们验证了所提算法的最优性。与两种基线方案相比,我们在真实模型中展示了所提算法的有效性。
引用
@article{arxiv.1906.05015,
title = {Deep Reinforcement Learning for Unmanned Aerial Vehicle-Assisted Vehicular Networks},
author = {Ming Zhu and Xiao-Yang Liu and Anwar Walid},
journal= {arXiv preprint arXiv:1906.05015},
year = {2023}
}
备注
28 pages