Neighbor2Neighbor:基于单张含噪图像的自监督去噪
图像与视频处理
2021-04-01 v3 计算机视觉与模式识别
摘要
近年来,图像去噪从神经网络的快速发展中获益良多。然而,对大量含噪-干净图像对进行监督的需求限制了这些模型的广泛应用。尽管已有一些尝试仅用单张含噪图像训练图像去噪模型,现有的自监督去噪方法存在网络训练低效、有用信息丢失或依赖噪声建模的问题。在本文中,我们提出一种名为Neighbor2Neighbor的非常简单却有效的方法,仅用含噪图像训练高效的去噪模型。首先,提出一种随机邻域子采样器用于生成训练图像对。具体而言,用于训练网络的输入与目标是从同一张含噪图像子采样的图像,满足配对图像的配对像素为邻域且彼此外观非常相似的要求。其次,在第一阶段生成的子采样训练对上训练去噪网络,并以提出的正则化项作为额外损失以提升性能。所提出的Neighbor2Neighbor框架能够享受最先进监督去噪网络在网络架构设计上的进展。此外,它避免了对噪声分布假设的严重依赖。我们从理论角度解释了该方法,并通过大量实验进一步验证,包括sRGB空间中不同噪声分布的合成实验以及raw-RGB空间中去噪基准数据集上的真实世界实验。
引用
@article{arxiv.2101.02824,
title = {Neighbor2Neighbor: Self-Supervised Denoising from Single Noisy Images},
author = {Tao Huang and Songjiang Li and Xu Jia and Huchuan Lu and Jianzhuang Liu},
journal= {arXiv preprint arXiv:2101.02824},
year = {2021}
}
备注
CVPR2021