COMISR：考虑压缩信息的视频超分辨率
计算机视觉与模式识别
2021-10-13 v2
摘要
大多数视频超分辨率方法专注于从低分辨率视频中恢复高分辨率视频帧，而未考虑压缩因素。然而，网络和移动设备上的大多数视频都是经过压缩的，且在带宽受限时压缩可能非常严重。本文中，我们提出了一种新颖的压缩信息感知视频超分辨率模型，以恢复高分辨率内容而不引入由压缩引起的伪影。所提模型由三个用于视频超分辨率的模块组成：双向循环扭曲、细节保持光流估计和拉普拉斯增强。这三个模块均用于处理压缩特性，例如输入中帧内帧的位置以及输出帧中的平滑性。为进行全面性能评估，我们在具有广泛压缩率的标准数据集上进行了大量实验，涵盖许多真实视频用例。我们表明，我们的方法不仅能在广泛使用基准数据集的未压缩帧上恢复高分辨率内容，还能基于众多量化指标在压缩视频超分辨率上取得最先进（SOTA）性能。我们还通过模拟来自 YouTube 的流媒体来评估所提方法，以证明其有效性与鲁棒性。源代码与训练模型可在 https://github.com/google-research/google-research/tree/master/comisr 获取。
引用
@article{arxiv.2105.01237,
title = {COMISR: Compression-Informed Video Super-Resolution},
author = {Yinxiao Li and Pengchong Jin and Feng Yang and Ce Liu and Ming-Hsuan Yang and Peyman Milanfar},
journal= {arXiv preprint arXiv:2105.01237},
year = {2021}
}
备注
13 pages, 10 figures