ClinicalFMamba：用于临床评估的Mamba基 multimodal神经影像融合
计算机视觉与模式识别
2025-08-06 v1
摘要
多模态医学图像融合整合来自不同成像模态的互补信息，以增强诊断准确性和治疗规划。尽管深度学习方法已取得进展，但现有方法面临关键限制：卷积神经网络（CNN）在局部特征提取方面表现出色，但难以有效建模全局上下文；而Transformer在长程建模方面优越，但计算复杂度为二次方，限制了临床部署。最近的状态空间模型（SSM）提供了有前景的替代方案，能够通过选择性扫描机制在线性时间内实现长程依赖建模。尽管已取得这些进展，但向3D体数据扩展以及融合图像的临床验证仍属未充分探索。本文提出ClinicalFMamba，一种新型端到端CNN-Mamba混合架构，协同实现局部和全局特征建模，用于2D和3D图像。我们进一步设计了三平面扫描策略，以有效学习3D图像的体积依赖性。对三个数据集的全面评估表明，我们的方法在多个定量指标上实现了优异的融合性能，同时实现了实时融合。我们进一步在下游2D/3D脑肿瘤分类任务中验证了方法的临床实用性，优于基线方法。我们的方法确立了一种适用于实时临床部署的高效多模态医学图像融合新范式。
引用
@article{arxiv.2508.03007,
title = {Multi-Granularity Feature Calibration via VFM for Domain Generalized Semantic Segmentation},
author = {Xinhui Li and Xiaojie Guo},
journal= {arXiv preprint arXiv:2508.03007},
year = {2025}
}