视盲点为修复：基于掩膜引导残差卷积的自监督去噪
图像与视频处理
2021-09-13 v1 计算机视觉与模式识别
摘要
近年来，自监督去噪方法展现出令人瞩目的性能，它们规避了有监督去噪方法中繁琐的噪声-干净图像对采集过程，并提升了去噪在真实世界中的适用性。其中一种著名的自监督去噪策略是盲点训练方案。然而，鲜有工作尝试从网络架构方面改进基于盲点的自监督去噪器。在本文中，我们以一种直观的视角看待盲点策略，并将其利用邻域像素预测被操纵像素的过程视为一种图像修复过程。因此，我们提出了一种新颖的掩膜引导残差卷积（MGRConv），将其引入常见的卷积神经网络（如 U-Net）中，以促进基于盲点的去噪。我们的 MGRConv 可视为一种软部分卷积，并在部分卷积、可学习注意力图和门控卷积之间找到了一个折衷。它能够在适当的掩膜约束下实现动态掩膜学习。与部分卷积和门控卷积不同，它为网络学习提供了适度的自由度。同时，与可学习注意力图不同，它也避免了引入外部可学习参数用于掩膜激活。实验表明，我们提出的即插即用型 MGRConv 能够帮助基于盲点的去噪网络在现有的单图像和基于数据集的方法上均取得有前景的结果。
引用
@article{arxiv.2109.04970,
title = {View Blind-spot as Inpainting: Self-Supervised Denoising with Mask Guided Residual Convolution},
author = {Yuhongze Zhou and Liguang Zhou and Tin Lun Lam and Yangsheng Xu},
journal= {arXiv preprint arXiv:2109.04970},
year = {2021}
}