XFMamba：用于多视图医学图像分类的交叉融合 Mamba
计算机视觉与模式识别
2025-03-05 v1
摘要
与单视图医学图像分类相比，利用多个视图可以显著提高预测准确性，因为它可以考虑每个视图的互补性，同时利用视图之间的相关性。现有的多视图方法通常采用单独的卷积或 Transformer 分支，并结合简单的特征融合策略。然而，这些方法无意中忽略了基本的跨视图相关性，导致分类性能次优，并且面临感受野有限（CNN）或二次计算复杂度（Transformer）的挑战。受状态空间序列模型的启发，我们提出了 XFMamba，一种纯基于 Mamba 的交叉融合架构，以应对多视图医学图像分类的挑战。XFMamba 引入了一种新颖的两阶段融合策略，促进了单视图特征及其跨视图差异的学习。该机制在每个视图中捕获空间长程依赖关系，同时增强视图之间的无缝信息传递。在 MURA、CheXpert 和 DDSM 三个公共数据集上的结果说明了我们方法在多样化多视图医学图像分类任务中的有效性，表明它优于现有的基于卷积和基于 Transformer 的多视图方法。代码可在 https://github.com/XZheng0427/XFMamba 获取。
引用
@article{arxiv.2503.02619,
title = {XFMamba: Cross-Fusion Mamba for Multi-View Medical Image Classification},
author = {Xiaoyu Zheng and Xu Chen and Shaogang Gong and Xavier Griffin and Greg Slabaugh},
journal= {arXiv preprint arXiv:2503.02619},
year = {2025}
}