用于 Panchromatic 和 Multi-spectral 图像融合的空间-频谱二值化神经网络
计算机视觉与模式识别
2025-10-01 v2
摘要
遥感图像 pansharpening旨在在融合 Panchromatic (PAN) 图像和低分辨率多光谱 (LR-MS) 图像时重建空间-光谱属性，最终生成高分辨率多光谱 (HR-MS) 图像。虽然深度学习模型已取得优异性能，但往往伴随高计算复杂度，限制其在资源受限设备上的应用。本文探讨将二值化神经网络 (BNN) 应用于 pansharpening 的可行性。然而，对二值化 pansharpening 模型存在两个主要问题：(i) 二值化会导致严重的光谱失真，由于 PAN/LR-MS 图像的光谱分布不一致；(ii) 常用的二值化卷积核难以适应遥感对象的多尺度和各向异性空间特征，导致轮廓严重退化。为解决上述问题，我们设计了自定义的空间-频谱二值化卷积 (S2B-Conv)，由光谱再分布机制 (SRM) 和 Gabor 空间特征放大器 (GSFA) 组成。具体而言，SRM 采用仿射变换，通过动态学习过程生成其缩放和偏置参数。GSFA 随机选择预设范围内的不同频率和角度，从而更好地处理多尺度和方向性空间特征。由一系列 S2B-Conv 组成的全新二值网络用于 pansharpening，称为 S2BNet。大量定量和定性实验表明，我们的高效二值化 pansharpening 方法能够取得优异性能。
引用
@article{arxiv.2509.23321,
title = {Spatial-Spectral Binarized Neural Network for Panchromatic and Multi-spectral Images Fusion},
author = {Yizhen Jiang and Mengting Ma and Anqi Zhu and Xiaowen Ma and Jiaxin Li and Wei Zhang},
journal= {arXiv preprint arXiv:2509.23321},
year = {2025}
}