基于强化学习的雾无线接入网中面向异构时延需求物联网的资源分配
网络与互联网体系结构
2019-01-17 v2
摘要
随着物联网（IoT）设备和应用的快速普及，雾无线接入网（Fog-RAN）近期被提出用于第五代（5G）无线通信，以满足无法容忍大时延的物联网应用对超可靠低时延通信（URLLC）的需求。因此，雾节点（FN）被配备计算、信号处理和存储能力，以将云端的固有操作和服务扩展至边缘。我们考虑将FN的有限资源按顺序分配给具有异构时延需求的物联网应用的问题。对于来自物联网用户的每个接入请求，FN需要决定是否利用自身资源在本地服务该请求，还是将其转交至云以节省宝贵资源给系统中潜在效用更高（即时延需求更低）的未来用户。我们将雾无线接入网资源分配问题建模为马尔可夫决策过程（MDP），并采用若干强化学习（RL）方法，即Q-learning、SARSA、Expected SARSA和Monte Carlo，通过学习最优决策策略来求解该MDP问题。我们验证了RL方法的性能与适应性，并将其与基于固定阈值的算法性能进行比较。考虑19种异构时延需求物联网环境的广泛仿真结果证实，无论物联网环境如何，RL方法总能取得最佳可能性能。
引用
@article{arxiv.1806.04582,
title = {Reinforcement Learning-based Resource Allocation in Fog RAN for IoT with Heterogeneous Latency Requirements},
author = {Almuthanna T. Nassar and Yasin Yilmaz},
journal= {arXiv preprint arXiv:1806.04582},
year = {2019}
}