探究真实世界视频超分辨率中的权衡
计算机视觉与模式识别
2021-11-25 v1
摘要
真实世界视频超分辨率（Video Super-Resolution, VSR）中退化的多样性与复杂性给推理和训练带来了不小的挑战。首先，虽然长期传播在轻度退化情况下能提升性能，但严重的真实场景退化可能通过传播被放大，从而损害输出质量。为平衡细节合成与伪影抑制之间的权衡，我们发现图像预清洁阶段对于在传播前减少噪声和伪影不可或缺。配备精心设计的清洁模块后，我们的 RealBasicVSR 在质量和效率上均优于现有方法。其次，真实世界 VSR 模型通常使用多种退化进行训练以提高泛化能力，这需要增大批次大小以产生稳定的梯度。不可避免的是，增加的计算负担导致了多种问题，包括：1）速度与性能的权衡；2）批次长度与性能的权衡。为缓解第一种权衡，我们提出了一种随机退化方案，可在不牺牲性能的情况下减少高达 40% 的训练时间。随后，我们分析了不同的训练设置，并建议在训练期间使用更长的序列而非更大的批次，可以更有效地利用时间信息，从而在推理时获得更稳定的性能。为促进公平比较，我们提出了新的 VideoLQ 数据集，其中包含大量具有丰富纹理和图案的真实世界低质量视频序列。我们的数据集可作为基准测试的共同基础。代码、模型和数据集将公开发布。
引用
@article{arxiv.2111.12704,
title = {Investigating Tradeoffs in Real-World Video Super-Resolution},
author = {Kelvin C. K. Chan and Shangchen Zhou and Xiangyu Xu and Chen Change Loy},
journal= {arXiv preprint arXiv:2111.12704},
year = {2021}
}
备注
Tech report, 14 pages, 14 figures. Code can be found at https://github.com/ckkelvinchan/RealBasicVSR