MambaReg: 基于 Mamba 的解耦卷积稀疏编码用于无监督可变形多模态图像配准
计算机视觉与模式识别
2024-11-05 v1
摘要
多模态图像因固有特征差异而实现精确对齐是可变形图像配准中的关键挑战。传统基于学习的方法常将配准网络视为缺乏可解释性的黑盒。一个核心洞见是跨模态解耦对齐特征与非对齐特征能够带来益处。同时，图像配准任务中的突出方法（如卷积神经网络）由于局部感受野的限制，难以捕捉长程依赖关系。当给定图像对存在大错位时，这些方法常因未能有效学习长程依赖与对应关系而失效。在本文中，我们提出 MambaReg，一种新颖的基于 Mamba 的架构，利用 Mamba 捕捉长序列的强大能力来应对这些挑战。通过所提出的若干子模块，MambaReg 能够有效地将负责配准的模态无关特征与模态相关的非对齐特征解耦。通过选择性关注相关特征，我们的网络擅长捕捉多模态图像之间的相关性，从而实现聚焦的变形场预测和精确的图像配准。基于 Mamba 的架构将卷积层的局部特征提取能力与 Mamba 的长程依赖建模能力无缝结合。在公开非刚性 RGB-IR 图像数据集上的实验证明了所提方法的优越性，在配准精度和变形场平滑度方面均优于现有方法。
引用
@article{arxiv.2411.01399,
title = {MambaReg: Mamba-Based Disentangled Convolutional Sparse Coding for Unsupervised Deformable Multi-Modal Image Registration},
author = {Kaiang Wen and Bin Xie and Bin Duan and Yan Yan},
journal= {arXiv preprint arXiv:2411.01399},
year = {2024}
}