用于癌症生存预测的解耦与可解释多模态注意力融合
计算机视觉与模式识别
2025-06-30 v2
摘要
为了利用全切片图像和转录组数据改进癌症生存预测，捕获模态共享和模态特有信息至关重要。然而，多模态框架常常将这些表示纠缠在一起，限制了可解释性并可能抑制判别性特征。为解决此问题，我们提出解耦与可解释多模态注意力融合（DIMAF），该多模态框架在基于注意力的融合机制中分离模态内和模态间交互，以学习不同的模态特有和模态共享表示。我们引入基于距离相关的损失以促进这些表示之间的解耦，并整合 Shapley 加性解释来评估它们对生存预测的相对贡献。我们在四个公开癌症生存数据集上评估了 DIMAF，与当前最先进的多模态模型相比，实现了 1.85% 的相对平均性能提升和 23.7% 的解耦度提升。除了性能提升外，我们可解释的框架还能更深入地探索癌症生物学中模态间和模态内的潜在交互作用。
引用
@article{arxiv.2503.16069,
title = {Disentangled and Interpretable Multimodal Attention Fusion for Cancer Survival Prediction},
author = {Aniek Eijpe and Soufyan Lakbir and Melis Erdal Cesur and Sara P. Oliveira and Sanne Abeln and Wilson Silva},
journal= {arXiv preprint arXiv:2503.16069},
year = {2025}
}
备注
11 pages, 1 figure, 3 tables. Preprint submitted and accepted to MICCAI 2025. This preprint has not undergone peer review or any post-submission improvements or corrections