相关性感知的协作多组广播360°视频传输网络：一种分层深度强化学习方法
摘要
鉴于体育赛事场馆内任意位置接收无人机(unmanned aerial vehicle, UAV)视频的严苛需求，以及面向虚拟现实(virtual reality, VR)用户的视频传输所需的高每小区吞吐量，一种有前景的方案是具备协作接收与广播接入点(access point, AP)的无小区多组广播(cell-free multi-group broadcast, CF-MB)网络。为发掘将用户相关的解码依赖视频资源广播给空间相关的VR用户之益处，该网络应动态调度视频，并将AP聚类为面向具有重叠视频请求的不同VR用户组的虚拟小区。通过将问题分解为调度与关联子问题，我们首先引入传统的基于非学习的调度与关联算法，以及一种基于rainbow智能体并采用卷积神经网络(convolutional neural network, CNN)的集中式深度强化学习(deep reinforcement learning, DRL)关联方法，以从观测中生成决策。为降低其复杂度，我们随后将关联问题分解为多个子问题，从而形成网络化分布式部分可观测马尔可夫决策过程(networked-distributed Partially Observable Markov decision process, ND-POMDP)。为求解该问题，我们提出一种多智能体深度DRL算法。为联合求解耦合的关联与调度问题，我们进一步开发了一种以调度器为元控制器、关联为控制器的分层联邦DRL算法。仿真结果表明，我们的CF-MB网络能有效处理从UAV到VR用户的实时视频传输。我们所提出的学习架构对于随AP与VR用户增多的高维协作关联问题具有高效性与可扩展性。此外，所提算法相较基于非学习的方法取得了显著性能提升。
引用
@article{arxiv.2010.11347,
title = {Correlation-aware Cooperative Multigroup Broadcast 360{\deg} Video Delivery Network: A Hierarchical Deep Reinforcement Learning Approach},
author = {Fenghe Hu and Yansha Deng and A. Hamid Aghvami},
journal= {arXiv preprint arXiv:2010.11347},
year = {2021}
}
备注
30 pages, 13 figures