VCISR：利用视频压缩合成数据的盲单图像超分辨率
图像与视频处理
2023-11-27 v2 计算机视觉与模式识别
摘要
在盲单图像超分辨率（SISR）任务中，现有工作已成功恢复图像级未知退化。然而，当单视频帧成为输入时，这些工作通常无法处理由视频压缩引起的退化，如蚊式噪声、振铃、块效应和阶梯噪声。在本工作中，我们首次提出了一种基于视频压缩的退化模型，用于在盲 SISR 任务中合成低分辨率图像数据。我们提出的图像合成方法广泛适用于现有图像数据集，从而使得单张退化图像可包含由有损视频压缩算法引起的失真。这克服了视频数据中特征多样性的匮乏，从而保持了训练效率。通过将视频编码伪影引入 SISR 退化模型，神经网络能够以增强恢复视频压缩退化的能力来超分辨图像，并且在恢复由图像压缩引起的通用失真方面也取得更好结果。我们提出的方法在 SOTA 无参考图像质量评估中取得了优越性能，并在多个数据集上展现出更好的视觉质量。此外，我们在视频超分辨率（VSR）数据集上评估了使用我们的退化模型训练的 SISR 神经网络。相较于专为 VSR 目的设计的架构，我们的方法表现出相似或更好的性能，证明所提出的注入基于视频的退化策略可推广至处理更复杂的压缩伪影，即便没有时间线索。
引用
@article{arxiv.2311.00996,
title = {VCISR: Blind Single Image Super-Resolution with Video Compression Synthetic Data},
author = {Boyang Wang and Bowen Liu and Shiyu Liu and Fengyu Yang},
journal= {arXiv preprint arXiv:2311.00996},
year = {2023}
}