面向能量可持续多无人机NOMA随机接入物联网网络的约束深度强化学习
网络与互联网体系结构
2020-09-18 v2 机器学习
信号处理
摘要
本文中，我们应用非正交多址（NOMA）技术以改善无线物联网网络的海量信道接入，其中太阳能供电的无人机（UAVs）将物联网设备的数据中继至远程服务器。具体而言，物联网设备使用自适应-持久时隙 Aloha 协议竞争共享无线信道接入；太阳能供电的无人机采用串行干扰消除（SIC）解码来自物联网设备的多个接收数据以提升接入效率。为构建能量可持续且容量最优的网络，我们将无人机动态高度控制与物联网设备多小区无线信道接入管理的联合问题研究为带多重能量约束的随机控制问题。为学习最优控制策略，我们首先将该问题建模为约束马尔可夫决策过程（CMDP），并基于拉格朗日原始-对偶策略优化提出一种在线无模型约束深度强化学习（CDRL）算法以求解CMDP。大量仿真表明，我们所提算法学习到无人机间的协作策略，其中无人机高度与物联网设备信道接入概率被动态联合控制，以在维持无人机能量可持续的同时达成最大长期网络容量。所提算法优于基于奖励塑形以考量能量成本的深度RL方案，并取得的时间平均系统容量比可行DRL方案高，仅比无能量约束系统低。
引用
@article{arxiv.2002.00073,
title = {Constrained Deep Reinforcement Learning for Energy Sustainable Multi-UAV based Random Access IoT Networks with NOMA},
author = {Sami Khairy and Prasanna Balaprakash and Lin X. Cai and Yu Cheng},
journal= {arXiv preprint arXiv:2002.00073},
year = {2020}
}
备注
Submitted to IEEE JSAC Special Issue on Massive Access for 5G and Beyond