EgoVSR：面向高质量第一人称视频超分辨率
计算机视觉与模式识别
2023-07-27 v2
摘要
由于采集设备与场景的限制，第一人称视频往往视觉质量较低，主要由高压缩与严重运动模糊引起。随着第一人称视频应用的日益增多，迫切需要通过超分辨率提升这些视频的质量。然而，现有视频超分辨率（VSR）工作聚焦于第三人称视角视频，实际上并不适合处理第一人称视频中由快速自我运动与物体运动导致的模糊伪影。为此，我们提出 EgoVSR，一种专为第一人称视频设计的 VSR 框架。我们在 VSR 框架中使用双分支去模糊网络（DBNet）显式处理第一人称视频中的运动模糊。同时，引入模糊掩码以引导 DBNet 学习，并可用于定位视频帧中的模糊区域。我们还设计了 MaskNet 来预测该掩码，以及一种掩码损失来优化掩码估计。此外，提出了一种面向通用 VSR 训练数据的在线运动模糊合成模型，以模拟第一人称视频中的运动模糊。为验证所提方法的有效性，我们引入了包含大量快速运动第一人称视频序列的 EgoVSR 数据集。大量实验表明，我们的 EgoVSR 模型能高效地对低质量第一人称视频进行超分辨率重建，并优于强对比基线。我们的代码、预训练模型与数据可在 https://github.com/chiyich/EGOVSR/ 获取。
引用
@article{arxiv.2305.14708,
title = {EgoVSR: Towards High-Quality Egocentric Video Super-Resolution},
author = {Yichen Chi and Junhao Gu and Jiamiao Zhang and Wenming Yang and Yapeng Tian},
journal= {arXiv preprint arXiv:2305.14708},
year = {2023}
}