重新思考用于自监督图像去噪的基于 Transformer 的盲点网络
计算机视觉与模式识别
2025-08-20 v4 图像与视频处理
摘要
盲点网络（BSN）一直是自监督图像去噪（SSID）中普遍使用的神经网络架构。然而，现有的大多数 BSN 均由卷积层构建。尽管 Transformer 在许多图像复原任务中展现出了克服卷积局限性的潜力，但其注意力机制可能会违反盲点要求，从而限制了其在 BSN 中的适用性。为此，我们提出分析并重新设计通道注意力与空间注意力以满足盲点要求。具体而言，在多尺度架构中，由于下采样会将空间特征打乱至通道维度，通道自注意力可能会泄露盲点信息。为缓解此问题，我们将通道划分为若干组并分别执行通道注意力。对于空间自注意力，我们对注意力矩阵施加精细的掩码，以限制并模拟膨胀卷积的感受野。基于重新设计的通道注意力与窗口注意力，我们构建了基于 Transformer 的盲点网络（TBSN），其展现出强大的局部拟合与全局观察能力。此外，我们引入了一种知识蒸馏策略，将 TBSN 蒸馏为更小的去噪器，以在保持性能的同时提高计算效率。在真实世界图像去噪数据集上的大量实验表明，TBSN 大幅扩展了感受野，并表现出优于 SOTA SSID 方法的性能。
引用
@article{arxiv.2404.07846,
title = {Rethinking Transformer-Based Blind-Spot Network for Self-Supervised Image Denoising},
author = {Junyi Li and Zhilu Zhang and Wangmeng Zuo},
journal= {arXiv preprint arXiv:2404.07846},
year = {2025}
}
备注
AAAI 2025 Camera Ready, update Fig.4