MM-SurvNet：通过多模态数据融合进行乳腺癌生存风险分层的深度学习方法
计算机视觉与模式识别
2024-02-20 v1 人工智能
摘要
生存风险分层是乳腺癌管理临床决策中的重要步骤。我们提出了一种新颖的深度学习方法，通过整合组织病理学成像、遗传和临床数据来实现这一目的。它采用视觉变换器，特别是MaxViT模型，用于图像特征提取，并利用自注意力在患者层面捕捉复杂的图像关系。双交叉注意力机制将这些特征与遗传数据融合，而临床数据则在最后一层纳入以增强预测准确性。在公共TCGA-BRCA数据集上的实验表明，使用负对数似然损失函数训练的模型可以实现优越的性能，平均C-index为0.64，超过了现有方法。这一进展有助于制定个性化治疗策略，可能改善患者预后。
引用
@article{arxiv.2402.11788,
title = {MM-SurvNet: Deep Learning-Based Survival Risk Stratification in Breast Cancer Through Multimodal Data Fusion},
author = {Raktim Kumar Mondol and Ewan K. A. Millar and Arcot Sowmya and Erik Meijering},
journal= {arXiv preprint arXiv:2402.11788},
year = {2024}
}
备注
Keywords: Multimodal Fusion, Breast Cancer, Whole Slide Images, Survival Prediction