SGDFormer：用于跨光谱立体图像引导去噪的单阶段 Transformer 架构
计算机视觉与模式识别
2024-04-02 v1
摘要
跨光谱图像引导去噪在恢复具有丰富细节的清晰图像方面展现了巨大潜力，例如利用近红外图像引导可见光图像的去噪过程。为获取此类图像对，一种可行且经济的方式是采用立体系统，该系统已广泛应用于移动设备。现有工作试图生成对齐的引导图像以处理两幅图像间的视差。然而，由于遮挡、光谱差异和噪声退化，对齐的引导图像通常存在伪影和重影，导致去噪结果不理想。为解决此问题，我们提出了一种单阶段基于 Transformer 的架构，名为 SGDFormer，用于跨光谱立体图像引导去噪。该架构将立体图像的对应关系建模与特征融合集成于统一网络中。我们的 Transformer 模块包含噪声鲁棒交叉注意力（NRCA）模块和空间变化特征融合（SVFF）模块。NRCA 模块以由粗到细的方式捕捉两幅图像的远程对应关系，以减轻噪声干扰。SVFF 模块通过动态选择有用信息，进一步增强显著结构并抑制有害伪影。得益于上述设计，我们的 SGDFormer 能够恢复无伪影且结构精细的图像，并在多种数据集上达到 SOTA 性能。此外，我们的 SGDFormer 可扩展用于处理其他未对齐的跨模态引导恢复任务，如引导深度超分辨率。
引用
@article{arxiv.2404.00349,
title = {SGDFormer: One-stage Transformer-based Architecture for Cross-Spectral Stereo Image Guided Denoising},
author = {Runmin Zhang and Zhu Yu and Zehua Sheng and Jiacheng Ying and Si-Yuan Cao and Shu-Jie Chen and Bailin Yang and Junwei Li and Hui-Liang Shen},
journal= {arXiv preprint arXiv:2404.00349},
year = {2024}
}