BioFusionNet：通过多特征与多模态数据融合实现ER+乳腺癌的深度学习生存风险分层
计算机视觉与模式识别
2024-07-02 v2 人工智能
摘要
乳腺癌是影响全球数百万女性的重大健康问题。准确的生存风险分层在指导个性化治疗决策和改善患者预后方面起着关键作用。在此，我们提出BioFusionNet，这是一个深度学习框架，它将图像衍生特征与遗传和临床数据融合，以获得整体概况并实现ER+乳腺癌患者的生存风险分层。我们采用多个在组织病理学图像块上预训练的自监督特征提取器（DINO和MoCoV3）来捕获详细的图像特征。然后，这些特征通过变分自编码器融合，并输入自注意力网络生成患者级特征。共双交叉注意力机制将组织病理学特征与遗传数据相结合，使模型能够捕获它们之间的相互作用。此外，使用前馈网络整合临床数据，进一步增强了预测性能，实现了全面的多模态特征集成。此外，我们引入了一种加权Cox损失函数，专门设计用于处理不平衡的生存数据，这是一个常见的挑战。我们的模型实现了0.77的平均一致性指数和0.84的时间依赖性曲线下面积，优于最先进的方法。它在单变量分析中预测风险（高与低）对总生存期具有预后显著性（HR=2.99，95% CI：1.88--4.78，p<0.005），并且在纳入标准临床病理学变量的多变量分析中保持独立显著性（HR=2.91，95% CI：1.80--4.68，p<0.005）。
引用
@article{arxiv.2402.10717,
title = {BioFusionNet: Deep Learning-Based Survival Risk Stratification in ER+ Breast Cancer Through Multifeature and Multimodal Data Fusion},
author = {Raktim Kumar Mondol and Ewan K. A. Millar and Arcot Sowmya and Erik Meijering},
journal= {arXiv preprint arXiv:2402.10717},
year = {2024}
}
备注
Keywords: Multimodal Fusion, Breast Cancer, Whole Slide Images, Deep Neural Network, Survival Prediction