SurvMamba：基于多粒度多模态交互的状态空间模型用于生存预测
计算机视觉与模式识别
2024-12-05 v2 人工智能
机器学习
定量方法
摘要
结合病理图像与基因组数据的多模态学习显著提升了生存预测的准确性。然而，现有方法尚未充分利用全切片图像（WSIs）与转录组数据内部固有的层次结构，而更好的模态内表示与模态间整合本可从这些结构中导出。此外，许多现有研究尝试通过注意力机制改进多模态表示，这在处理高维WSIs与转录组数据时不可避免地导致高复杂度。最近，一种名为 Mamba 的结构化状态空间模型因其以低复杂度对长序列进行建模的卓越性能而成为一种极具前景的方法。在本研究中，我们提出了一种用于生存预测的具有多粒度多模态交互的 Mamba（SurvMamba）。SurvMamba 实现了一个层次交互 Mamba（HIM）模块，促进不同粒度下的高效模态内交互，从而捕获更详细的局部特征以及丰富的全局表示。此外，交互融合 Mamba（IFM）模块用于级联的模态间交互融合，为生存预测产生更全面特征。在五个 TCGA 数据集上的综合评估表明，SurvMamba 在性能与计算成本上均优于其他现有方法。
引用
@article{arxiv.2404.08027,
title = {SurvMamba: State Space Model with Multi-grained Multi-modal Interaction for Survival Prediction},
author = {Ying Chen and Jiajing Xie and Yuxiang Lin and Yuhang Song and Wenxian Yang and Rongshan Yu},
journal= {arXiv preprint arXiv:2404.08027},
year = {2024}
}