基于状态空间模型的光学与SAR图像注册的多专家学习框架
计算机视觉与模式识别
2026-02-11 v2
摘要
光学图像和合成孔径雷达（SAR）图像注册对于多模态图像融合和应用至关重要。然而，现有深度学习方法在跨模态图像注册中存在诸多挑战：（i）光学图像与SAR图像之间存在显著的非线性辐射差异，影响共享特征学习和匹配；（ii）图像纹理有限限制了判别特征提取；（iii）卷积神经网络（CNN）的局部感受野限制了上下文信息的学习，而Transformer能够捕获长程全局特征但计算复杂度高。为此，本文提出一种基于状态空间模型（State Space Model, SSM）的多专家学习框架（ME-SSM）用于光学与SAR图像注册。首先，为提高注册性能，ME-SSM构建多专家学习框架，从多模态图像中捕获共享特征。具体而言，它从输入图像的 various 变换中提取特征，并采用可学习的软路由器动态融合这些特征，从而丰富特征表示并提高注册性能。其次，ME-SSM引入状态空间模型Mamba进行特征提取，采用多方向交叉扫描策略以线性复杂度高效捕获全局上下文关系。ME-SSM可扩大感受野，提高图像注册精度，同时避免高计算成本。此外，ME-SSM使用多级特征聚合（MFA）模块增强多尺度特征的融合与交互。广泛的实验结果表明，本文提出的ME-SSM在光学与SAR图像注册方面有效且具有优势。
引用
@article{arxiv.2507.04397,
title = {Multi-Expert Learning Framework with the State Space Model for Optical and SAR Image Registration},
author = {Wei Wang and Dou Quan and Ning Huyan and Chonghua Lv and Shuang Wang and Yunan Li and Licheng Jiao},
journal= {arXiv preprint arXiv:2507.04397},
year = {2026}
}