VMambaMorph：基于视觉状态空间模型与交叉扫描模块的多模态可变形图像配准框架
计算机视觉与模式识别
2024-04-16 v2
摘要
图像配准是医学成像中的关键过程，涉及将不同的医学成像数据集对齐到统一的坐标系中。深度学习网络，如基于卷积神经网络（CNN）的 VoxelMorph、基于视觉 Transformer（ViT）的 TransMorph 以及基于状态空间模型（SSM）的 MambaMorph，已在该领域展现出有效的性能。近期提出的视觉状态空间模型（VMamba）将交叉扫描模块与 SSM 相结合，在计算机视觉任务中以高效的计算成本展现了全局范围依赖建模方面的良好改进。本文由此探索了 VMamba 在图像配准中的应用，并将其命名为 VMambaMorph。这种新颖的混合 VMamba-CNN 网络专为 3D 图像配准设计。VMambaMorph 利用 U 型网络架构，基于目标体积和源体积计算变形场。带有 2D 交叉扫描模块的基于 VMamba 的块被重新设计用于 3D 体积特征处理。为克服多模态图像上复杂的运动和结构问题，我们进一步提出了一种微调递归配准框架。我们使用公开的脑 MR-CT 配准基准数据集对 VMambaMorph 进行了验证，并将其性能与当前 state-of-the-art 方法进行了比较。结果表明 VMambaMorph 取得了具有竞争力的配准质量。VMambaMorph 及所有基线方法的代码可在 GitHub 上获取。
引用
@article{arxiv.2404.05105,
title = {VMambaMorph: a Multi-Modality Deformable Image Registration Framework based on Visual State Space Model with Cross-Scan Module},
author = {Ziyang Wang and Jian-Qing Zheng and Chao Ma and Tao Guo},
journal= {arXiv preprint arXiv:2404.05105},
year = {2024}
}