基础设施辅助网联车流媒体中的质量感知深度强化学习
网络与互联网体系结构
2021-11-19 v1 系统与控制
系统与控制
摘要
本文提出一种基于深度强化学习的、面向移动感知车载网络的视频流媒体方案,例如高速公路上的车辆。我们考虑基础设施辅助且基于毫米波的 scenario,其中宏基站(MBS)由于毫米波波束的短距离无法直接为车辆提供流媒体服务,因此沿途的小型毫米波基站(mBS)将所需视频传送给用户。为更平滑的流媒体服务,MBS 主动将视频块推送至 mBS。此举用于支持当前被各 mBS 覆盖和/或将要被覆盖的车辆。我们构建了动态视频投递方案,利用马尔可夫决策过程(MDP)自适应确定 1)哪些内容、2)何种质量以及 3)从 MBS 主动投递至 mBS 的视频块数量。由于 MBS 难以跟踪所有信道条件且网络状态维度庞大,我们采用深度确定性策略梯度(DDPG)算法用于基于 DRL 的视频投递方案。本文最终表明,DRL 智能体学习到的流媒体策略在限制丢包、避免播放卡顿、减小质量波动并节省回程使用的同时,追求高平均质量。
引用
@article{arxiv.2111.09425,
title = {Quality-Aware Deep Reinforcement Learning for Streaming in Infrastructure-Assisted Connected Vehicles},
author = {Won Joon Yun and Dohyun Kwon and Minseok Choi and Joongheon Kim and Guiseppe Caire and Andreas F. Molisch},
journal= {arXiv preprint arXiv:2111.09425},
year = {2021}
}
备注
15 pages, 8 figures, Submitted to IEEE Transactions on Vehicular Technology