多模态 Mamba 建模用于生存预测（M4Survive）：适配联合基础模型表示
计算机视觉与模式识别
2025-03-14 v1
摘要
肿瘤学中准确的生存预测需要整合多种成像模态以捕捉肿瘤生物学的复杂相互作用。传统单模态方法往往无法利用放射学和病理学评估提供的互补信息。在这项工作中，我们提出了 M4Survive（多模态 Mamba 建模用于生存预测），一种利用高效适配器网络学习联合基础模型表示的新框架。我们的方法动态融合来自基础模型库（如 MedImageInsight、BiomedCLIP、Prov-GigaPath、UNI2-h）的异构嵌入，创建针对生存风险估计优化的相关潜在空间。通过利用基于 Mamba 的适配器，M4Survive 实现了高效的多模态学习，同时保持了计算效率。在基准数据集上的实验评估表明，我们的方法在生存预测准确性方面优于单模态和传统静态多模态基线。这项工作强调了基础模型驱动的多模态融合在推进精准肿瘤学和预测分析方面的潜力。
引用
@article{arxiv.2503.10057,
title = {Multi-Modal Mamba Modeling for Survival Prediction (M4Survive): Adapting Joint Foundation Model Representations},
author = {Ho Hin Lee and Alberto Santamaria-Pang and Jameson Merkov and Matthew Lungren and Ivan Tarapov},
journal= {arXiv preprint arXiv:2503.10057},
year = {2025}
}
备注
10 pages