TTMFN：基于双流 Transformer 的多模态融合网络用于生存预测
图像与视频处理
2023-11-14 v1 计算机视觉与模式识别
摘要
生存预测在协助临床医生制定癌症治疗方案中起着关键作用。近期证据表明，多模态数据有助于癌症疾病的诊断并改善生存预测。当前，基于深度学习的方法通过整合病理图像与基因表达数据，在生存预测上取得了日益增长的成功。然而，大多数现有方法忽视了模态内的潜在信息以及模态间复杂的相关性。此外，现有模态未充分利用神经网络在特征聚合上的巨大表征能力，且忽略了特征间关系的重要性。因此，强烈建议通过提出一种新颖的基于深度学习的方法来应对这些问题以提升预测性能。我们提出一种名为基于双流 Transformer 的多模态融合网络（TTMFN）的新框架，用于整合病理图像与基因表达数据以进行生存预测。在 TTMFN 中，我们提出一个双流多模态协同注意力 Transformer 模块，以充分利用不同模态间的复杂关系以及模态内的潜在联系。此外，我们开发了一种多头注意力池化方法，以有效聚合两种模态的特征表示。在来自癌症基因组图谱的四个数据集上的实验结果表明，与最先进的方法相比，TTMFN 在预测患者总生存期方面取得了最佳性能或具竞争力的结果。
引用
@article{arxiv.2311.07033,
title = {TTMFN: Two-stream Transformer-based Multimodal Fusion Network for Survival Prediction},
author = {Ruiquan Ge and Xiangyang Hu and Rungen Huang and Gangyong Jia and Yaqi Wang and Renshu Gu and Changmiao Wang and Elazab Ahmed and Linyan Wang and Juan Ye and Ye Li},
journal= {arXiv preprint arXiv:2311.07033},
year = {2023}
}