面向盲视频超分辨率的时间核一致性
图像与视频处理
2021-08-20 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
基于深度学习的盲超分辨率（SR）方法近来在放大具有未知退化的帧方面取得了前所未有的性能。这些模型能够从高分辨率（LR）图像中准确估计未知的降采样核，以便在复原过程中利用该核。尽管这些方法大体上取得了成功，但它们主要以图像为基础，因此未利用核在多个视频帧间的时间特性。本文中，我们研究了核的时间特性，并强调了其在盲视频超分辨率任务中的重要性。具体而言，我们测量了真实世界视频的核时间一致性，并说明了在场景及其物体动态性各异的视频中，估计的核如何随帧变化。基于这一新认识，我们重新审视了以往流行的视频SR方法，并指出在复原过程中使用固定核的先前假设在放大真实世界视频时会导致视觉伪影。为应对此问题，我们调整了现有的单图像与视频SR技术，以在核估计与视频放大过程中均利用核一致性。在合成与真实世界视频上的大量实验显示了定量与定性上的显著复原增益，实现了盲视频SR的新SOTA，并凸显了利用核时间一致性的潜力。
引用
@article{arxiv.2108.08305,
title = {Temporal Kernel Consistency for Blind Video Super-Resolution},
author = {Lichuan Xiang and Royson Lee and Mohamed S. Abdelfattah and Nicholas D. Lane and Hongkai Wen},
journal= {arXiv preprint arXiv:2108.08305},
year = {2021}
}