面向真实世界图像去噪的空间自适应自监督学习
计算机视觉与模式识别
2023-03-28 v1 图像与视频处理
摘要
近年来，自监督图像去噪（SSID）取得了显著进展。然而，大多数方法侧重于处理空间独立噪声，对于具有空间相关噪声的真实世界 sRGB 图像实用性有限。尽管已有研究提出像素混洗下采样来打破噪声相关性，但它破坏了图像的原始信息，从而限制了去噪性能。本文提出了一种解决该问题的新视角，即寻求面向真实世界 sRGB 图像去噪的空间自适应监督。具体而言，我们考虑噪声图像中平坦区域与纹理区域各自的特性，并分别为它们构建监督。对于平坦区域，监督可安全地从非相邻像素（远离当前像素以排除噪声相关像素的影响）导出，并将盲点网络扩展为盲邻域网络（BNN）以在平坦区域提供监督。对于纹理区域，监督必须与相邻像素的内容紧密相关，为此我们提出局部感知网络（LAN）来满足该需求，而 LAN 本身由 BNN 的输出进行选择性监督。结合这两种监督，去噪网络（如 U-Net）可被良好训练。大量实验表明，我们的方法在真实世界 sRGB 照片上优于最先进的 SSID 方法。代码见 https://github.com/nagejacob/SpatiallyAdaptiveSSID。
引用
@article{arxiv.2303.14934,
title = {Spatially Adaptive Self-Supervised Learning for Real-World Image Denoising},
author = {Junyi Li and Zhilu Zhang and Xiaoyu Liu and Chaoyu Feng and Xiaotao Wang and Lei Lei and Wangmeng Zuo},
journal= {arXiv preprint arXiv:2303.14934},
year = {2023}
}
备注
CVPR 2023 Camera Ready