无人机辅助网络中的能量最小化：面向约束调度优化的行动者—评论者学习
信号处理
2020-06-30 v2 机器学习
系统与控制
系统与控制
摘要
在无人机（UAV）应用中，无人机有限的能量供给与存储催生了智能节能调度方案的发展。本文中，我们通过联合优化数据传输调度与无人机悬停时间，研究无人机辅助通信网络的能量最小化。所表述问题具组合性、非凸且含双线性约束。为解决问题，首先我们提供最优松弛—近似解并开发近最优算法。两种方案均作为离线性能基准，但可能不适合在线运行。为此，我们从深度强化学习（DRL）角度开发方案。然而，常规 RL/DRL（如深度 Q 学习）在处理约束组合优化中两个主要问题——指数增长动作空间与不可行动作——时存在局限。方案开发的新颖性在于处理这两问题。针对前者，我们提出基于行动者—评论者的深度随机在线调度（AC-DSOS）算法，并开发一组方法以限制动作空间。针对后者，我们设计定制奖励函数以保证解可行性。数值结果表明，在消耗同等数量级时间下，AC-DSOS 能提供可行解，并比常规深度行动者—评论者方法节省 29.94% 能量。与所开发近最优算法相比，AC-DSOS 能耗高约 10%，但计算时间从分钟级降至毫秒级。
引用
@article{arxiv.2006.13610,
title = {Energy Minimization in UAV-Aided Networks: Actor-Critic Learning for Constrained Scheduling Optimization},
author = {Yaxiong Yuan and Lei Lei and Thang Xuan Vu and Symeon Chatzinotas and Sumei Sun and Bjorn Ottersten},
journal= {arXiv preprint arXiv:2006.13610},
year = {2020}
}
备注
12 pages, 11 figures