蜂窝物联网中海量接入优化的解耦学习策略
网络与互联网体系结构
2020-05-05 v1 信号处理
摘要
基于蜂窝的网络有望为海量物联网 (mIoT) 系统提供连接。然而，其随机接入信道 (RACH) 过程由于海量同时接入的碰撞而存在不可靠性。尽管现有 RACH 方案已处理此碰撞问题，这些方案通常以固定参数组织 IoT 设备的传输与重传，因而难以适应时变业务模式。若无适应性，RACH 过程易遭受高接入时延、高能耗甚至无法接入。为改进 RACH 过程，本文旨在通过最大化一个长期混合多目标函数（由接入成功设备数、平均能耗和平均接入时延组成）来实时优化 RACH 过程。为此，我们首先针对包括接入等级限制 (ACB)、退避 (BO) 和分布式排队 (DQ) 在内的不同 RACH 方案，使用深度强化学习 (DRL) 算法优化接入成功设备数的长期目标。比较了包括策略梯度 (PG)、行动者-评论家 (AC)、深度 Q 网络 (DQN) 和深度确定性策略梯度 (DDPG) 在内的不同 DRL 算法的收敛能力与效率。受该比较结果启发，开发了一种解耦学习策略，以联合动态地适配这三种接入方案的接入控制因子。该解耦策略首先利用循环神经网络 (RNN) 模型预测网络环境的实时业务量，然后使用多个 DRL 智能体协作配置各 RACH 方案的参数。
引用
@article{arxiv.2005.01092,
title = {A Decoupled Learning Strategy for Massive Access Optimization in Cellular IoT Networks},
author = {Nan Jiang and Yansha Deng and Arumugam Nallanathan and Jinghong Yuan},
journal= {arXiv preprint arXiv:2005.01092},
year = {2020}
}