扩展合成真实世界退化用于盲视频超分辨率
图像与视频处理
2023-05-05 v1 计算机视觉与模式识别
摘要
视频超分辨率（VSR）技术，尤其是基于深度学习的算法，在过去几年中取得了长足进步，并在合成数据上展现出令人印象深刻的性能。然而，由于真实世界退化的复杂性与视频帧未对齐，它们在真实世界视频数据上的性能受损。由于获取由低分辨率（LR）与高分辨率（HR）帧组成的合成数据集比获取真实世界 LR 与 HR 图像更容易，本文中我们提出在合成训练数据集上合成真实世界退化。所提出的合成真实世界退化（SRWD）包括模糊、噪声、下采样、像素合并以及图像与视频压缩伪影的组合。我们进而提出使用基于随机洗牌的策略在训练数据集上模拟这些退化，并在所提出的更大变化的真实合成训练数据上训练单一的端到端深度神经网络（DNN）。我们的定量与定性比较分析表明，相较于 RealBasicVSR，所提使用多样真实退化的训练策略在 VideoLQ 数据集上以 NRQM 衡量提升了 7.1% 的性能，相较于 BSRGAN 提升了 3.34%。我们还引入了一个包含高分辨率真实世界视频的新数据集，可作为基准测试的通用基础。
引用
@article{arxiv.2305.02660,
title = {Expanding Synthetic Real-World Degradations for Blind Video Super Resolution},
author = {Mehran Jeelani and Sadbhawna and Noshaba Cheema and Klaus Illgner-Fehns and Philipp Slusallek and Sunil Jaiswal},
journal= {arXiv preprint arXiv:2305.02660},
year = {2023}
}