学习面向任务的流以在合成与真实视频去噪中相互引导特征对齐
计算机视觉与模式识别
2023-03-28 v3 图像与视频处理
摘要
视频去噪旨在从视频中去除噪声以恢复干净视频。一些已有工作表明，光流可通过利用邻近帧的额外时空线索辅助去噪。然而，光流估计本身也对噪声敏感，在大噪声水平下可能无法使用。为此，我们提出一种新的多尺度精细化光流引导视频去噪方法，其对不同噪声水平更具鲁棒性。我们的方法主要包括去噪导向流精细化（DFR）模块与流引导相互去噪传播（FMDP）模块。与以往直接使用现成光流解法的作品不同，DFR 首先学习鲁棒的多尺度光流，FMDP 通过从低分辨率到高分辨率逐步引入并精细化更多流信息来利用流引导。结合真实噪声退化合成，所提出的多尺度流引导去噪网络在合成高斯去噪与真实视频去噪上均达到最先进（SOTA）性能。代码将公开提供。
引用
@article{arxiv.2208.11803,
title = {Learning Task-Oriented Flows to Mutually Guide Feature Alignment in Synthesized and Real Video Denoising},
author = {Jiezhang Cao and Qin Wang and Jingyun Liang and Yulun Zhang and Kai Zhang and Radu Timofte and Luc Van Gool},
journal= {arXiv preprint arXiv:2208.11803},
year = {2023}
}