面向视频流的预测辅助帧超分辨率
计算机视觉与模式识别
2021-03-18 v1 图像与视频处理
摘要
视频帧传输延迟在在线视频游戏、直播等实时应用中至关重要。新帧的接收截止时间必须赶上帧渲染时间。否则，系统将缓冲一段时间，用户会遇到画面冻结，导致不佳的体验。一种有效方法是在带宽不佳条件下以较低质量传输帧，例如使用可伸缩视频编码。本文中，我们提出在两种情况下利用有损帧提升视频质量。第一，当当前帧在渲染截止前过晚而无法接收（即丢失）时，我们提出利用先前接收的高分辨率图像预测未来帧。第二，当当前接收帧质量较低（即有损）时，我们提出利用先前接收的高分辨率帧增强当前低质量帧。针对第一种情况，我们提出一个小型而有效的视频帧预测网络。针对第二种情况，我们将视频预测网络改进为视频增强网络，以关联当前帧与先前帧来恢复高质量图像。大量实验结果表明，在有损视频流环境中，我们的方法优于当前最先进（SOTA）算法。
引用
@article{arxiv.2103.09455,
title = {Prediction-assistant Frame Super-Resolution for Video Streaming},
author = {Wang Shen and Wenbo Bao and Guangtao Zhai and Charlie L Wang and Jerry W Hu and Zhiyong Gao},
journal= {arXiv preprint arXiv:2103.09455},
year = {2021}
}