时间即插即用：基于预训练图像去噪器的无监督视频去噪
计算机视觉与模式识别
2024-09-18 v1 图像与视频处理
摘要
深度学习的最新进展利用大量成对的噪声与无噪声数据进行监督，在图像和视频去噪方面取得了令人瞩目的成果。然而，为动态场景获取成对视频的挑战阻碍了深度视频去噪技术的实际部署。相比之下，这一障碍在图像去噪中不那么明显，因为成对数据更容易获得。因此，一个训练有素的图像去噪器可以作为视频去噪的可靠空间先验。在本文中，我们提出了一种新颖的无监督视频去噪框架，名为“时间即插即用”（TAP），它将可调的时间模块集成到预训练的图像去噪器中。通过引入时间模块，我们的方法能够利用跨含噪帧的时间信息，补充其空间去噪能力。此外，我们引入了一种渐进式微调策略，利用生成的伪干净视频帧来优化每个时间模块，逐步提升网络的去噪性能。与其他无监督视频去噪方法相比，我们的框架在sRGB和原始视频去噪数据集上均展现出优越的性能。
引用
@article{arxiv.2409.11256,
title = {Temporal As a Plugin: Unsupervised Video Denoising with Pre-Trained Image Denoisers},
author = {Zixuan Fu and Lanqing Guo and Chong Wang and Yufei Wang and Zhihao Li and Bihan Wen},
journal= {arXiv preprint arXiv:2409.11256},
year = {2024}
}