基于注意力的多模态生存预测：跨模态双线性融合
定量方法
2026-05-15 v1 机器学习
摘要
我们提出了一种新颖的多模态深度学习框架，用于患者水平的生存预测，该框架整合了全切片组织学特征、RNA-seq 表达轮廓和临床变量。我们的体系结构将 ABMIL 模块~\cite{ilse2018attention} 用于切片级表示，同时为 RNA 和临床数据采用前馈编码器。这些嵌入随后通过低秩双线性跨模态融合~\cite{liu2018efficient} 进行整合，以控制参数增长的同时建模跨模态的条件相互作用。该模型输出连续的风险评分，随后使用基于 Kaplan--Meier 估计器~\cite{kaplan1958nonparametric} 的非参数校准程序映射到生存时间。通过将多模态推理分解为独立的成对相互作用，所提出的融合设计相较于完整张量和层次化融合策略，在结构可解释性和参数效率方面表现更佳。在 CHIMERA 挑战数据集上的实验表明，该方法在拼接基线之外实现了改进的预测性能，并在隐藏评估队列中表现出竞争力的泛化能力。这些结果表明，所提出的框架是 HR-NMIBC 多模态生存预测的有前景的方案。该实现已公开于 https://github.com/hassancpu/ChimeraChallenge2025_Task_3。
引用
@article{arxiv.2605.13897,
title = {Attention-Based Multimodal Survival Prediction with Cross-Modal Bilinear Fusion},
author = {Hassan Keshvarikhojasteh and Josien P. W. Pluim and Mitko Veta},
journal= {arXiv preprint arXiv:2605.13897},
year = {2026}
}