具有更密集感受野的循环自监督视频去噪
计算机视觉与模式识别
2023-08-08 v1
摘要
自监督视频去噪通过盲点网络取得了可观的进展。然而，在其盲点约束下，由于对感受野考虑不足，以往的自监督视频去噪方法在参考帧或邻帧的整体上遭受显著的信息丢失与纹理破坏。此外，以往方法可用的邻帧数量有限，导致远距离时间信息被丢弃。然而，简单地采用现有的循环框架并不奏效，因为它们容易破坏自监督所施加的感受野约束。本文提出 RDRF 用于自监督视频去噪，其不仅以更密集的感受野充分利用参考帧与邻帧，还更好地利用了来自局部与远距离邻帧特征的时间信息。首先，为全面利用参考帧与邻帧的信息，RDRF 通过在空间与时间维度上取更多邻像素实现了更密集的感受野。其次，它具备一个自监督循环视频去噪框架，可同时整合远距离与近邻时间特征。这使得长期双向信息聚合成为可能，同时缓解了普通循环框架中的误差累积。我们的方法在合成与真实视频去噪数据集上均展现出优越性能。代码将发布于 https://github.com/Wang-XIaoDingdd/RDRF。
引用
@article{arxiv.2308.03608,
title = {Recurrent Self-Supervised Video Denoising with Denser Receptive Field},
author = {Zichun Wang and Yulun Zhang and Debing Zhang and Ying Fu},
journal= {arXiv preprint arXiv:2308.03608},
year = {2023}
}
备注
Accepted to ACMMM 2023