中文

ME-Mamba:用于多模态生存分析的多专家 Mamba 高效知识捕获与融合

计算机视觉与模式识别 2025-09-23 v1 人工智能

摘要

使用全切片图像(whole-slide images, WSIs)进行生存分析是癌症研究中的关键任务。尽管取得了显著进展,但病理图像通常仅提供切片级标签,限制了从大型切片中学习判别性表示。随着高通量测序技术的快速发展,集成病理图像和基因组数据的多模态生存分析正成为具有前景的method。我们提出一种多专家 Mamba(Multi-Expert Mamba, ME-Mamba)系统,通过捕获判别性病理特征和基因组特征,实现两类模态的高效集成。该方法在不丢失单个模态关键信息的前提下,实现互补信息融合,从而促进准确的癌症生存分析。具体而言,我们首先引入病理专家(Pathology Expert)和基因组专家(Genomics Expert)分别处理单模态数据。两者均采用包含常规扫描与注意力扫描机制的 Mamba 架构,能够从包含大量冗余或无关信息的长序列实例中提取判别性特征。随后,我们设计一种协同专家(Synergistic Expert),通过最优传输(Optimal Transport)显式学习两模态的 token 级局部对应关系,并通过基于最大均值差异(Maximum Mean Discrepancy)的全局跨模态融合损失隐式增强分布一致性。最终融合后的特征表示传递至 Mamba 主干网络进行进一步集成。通过病理专家、基因组专家与协同专家的协同工作,本方法在保持较低计算复杂度的同时,实现了稳定且准确的生存分析。广泛的实验结果表明,在 The Cancer Genome Atlas(TCGA)中的五个数据集上,我们的方法在性能上实现了领先的水平。

关键词

引用

@article{arxiv.2509.16900,
  title  = {ME-Mamba: Multi-Expert Mamba with Efficient Knowledge Capture and Fusion for Multimodal Survival Analysis},
  author = {Chengsheng Zhang and Linhao Qu and Xiaoyu Liu and Zhijian Song},
  journal= {arXiv preprint arXiv:2509.16900},
  year   = {2025}
}