探索高效非对称盲点用于真实场景下的自监督去噪
计算机视觉与模式识别
2024-04-12 v2
摘要
自监督去噪因无需干净图像即可训练而受到广泛关注。然而,真实场景中的噪声通常具有空间相关性,这使得许多假设像素级独立噪声的自监督算法表现不佳。近期工作尝试通过下采样或邻域掩码来打破噪声相关性。然而,在下采样子图上去噪会因较低采样率导致混叠效应与细节丢失。此外,邻域掩码方法要么计算复杂度高,要么在推理时未考虑局部空间保持。通过对现有方法的分析,我们指出在真实世界自监督去噪任务中获得高质量且纹理丰富结果的关键在于:以原始输入分辨率结构进行训练,并在训练与推理时使用非对称操作。基于此,我们提出非对称可调盲点网络(AT-BSN),其盲点尺寸可自由调节,从而在训练与推理时更好地平衡噪声相关性抑制与图像局部空间破坏。此外,我们将预训练的 AT-BSN 视为一个元教师网络,能够通过采样不同盲点生成多种教师网络。我们提出一种基于盲点的多教师蒸馏策略来蒸馏轻量网络,显著提升性能。在多个数据集上的实验结果证明,我们的方法达到了最先进水平(SOTA),并在计算开销与视觉效果上优于其他自监督算法。
引用
@article{arxiv.2303.16783,
title = {Exploring Efficient Asymmetric Blind-Spots for Self-Supervised Denoising in Real-World Scenarios},
author = {Shiyan Chen and Jiyuan Zhang and Zhaofei Yu and Tiejun Huang},
journal= {arXiv preprint arXiv:2303.16783},
year = {2024}
}
备注
Accepted by CVPR 2024