时空盲点网络与校准光流对齐用于自监督视频去噪
计算机视觉与模式识别
2024-12-17 v1
摘要
自监督视频去噪旨在不依赖真实数据的情况下去除视频中的噪声，利用视频本身恢复干净帧。现有方法通常依赖简单的特征堆叠或应用光流而不进行深入分析。这导致对帧间和帧内信息的利用欠佳，并且还忽略了自监督条件下光流对齐的潜力，导致有偏且不足的去噪结果。为此，我们首先探索了光流在自监督设置中的实用性，并引入了一个时空盲点网络（STBN）用于全局帧特征利用。在时间域中，我们通过提出的盲点对齐块利用双向盲点特征传播，以确保准确的时间对齐并有效捕获长程依赖。在空间域中，我们引入了空间感受野扩展模块，该模块增强了感受野并提高了全局感知能力。此外，为了降低光流估计对噪声的敏感性，我们提出了一种无监督光流蒸馏机制，该机制在光流对齐过程中细化了细粒度的帧间交互。我们的方法在合成和真实视频去噪数据集上均表现出优越的性能。源代码公开于https://github.com/ZKCCZ/STBN。
引用
@article{arxiv.2412.11820,
title = {Spatiotemporal Blind-Spot Network with Calibrated Flow Alignment for Self-Supervised Video Denoising},
author = {Zikang Chen and Tao Jiang and Xiaowan Hu and Wang Zhang and Huaqiu Li and Haoqian Wang},
journal= {arXiv preprint arXiv:2412.11820},
year = {2024}
}