自监督深度盲视频超分辨率
计算机视觉与模式识别
2022-01-20 v1
摘要
现有基于深度学习的视频超分辨率（SR）方法通常依赖于监督式学习途径，其训练数据一般由已知或预定义核（如 Bicubic 核）的模糊操作再接抽取操作生成。然而这在真实应用中并不成立，因为退化过程复杂且无法被这些理想情形很好近似。此外，在真实场景中难以获取高分辨率（HR）视频及相应的低分辨率（LR）视频。为克服这些问题，我们提出一种自监督学习方法来解决盲视频 SR 问题，该方法从 LR 视频中同时估计模糊核与 HR 视频。由于直接以 LR 视频作为监督常导致平凡解，我们开发了一种简单有效的方法，根据视频 SR 的图像形成过程从原始 LR 视频生成辅助配对数据，从而使网络在模糊核估计与潜在 HR 视频复原两方面均受生成配对数据更好约束。另外，我们引入光流估计模块以利用相邻帧信息用于 HR 视频复原。实验表明，我们的方法在基准数据集与真实世界视频上均优于 SOTA 方法。
引用
@article{arxiv.2201.07422,
title = {Self-Supervised Deep Blind Video Super-Resolution},
author = {Haoran Bai and Jinshan Pan},
journal= {arXiv preprint arXiv:2201.07422},
year = {2022}
}
备注
Project website: https://github.com/csbhr/Self-Blind-VSR