多模态医疗数据中的深度生存分析：一种处理竞争风险的参数化概率方法

准确的生存预测在肿瘤学中对于预后和治疗规划至关重要。传统方法通常依赖单一数据模态，限制了其捕捉肿瘤生物学复杂性的能力。为了应对这一挑战，我们引入了一种用于生存分析的多模态深度学习框架，能够对单一风险和竞争风险场景进行建模，并评估整合多种医疗数据源对生存预测的影响。我们提出了SAMVAE（生存分析多模态变分自编码器），这是一种用于生存预测的新型深度学习架构，整合了六种数据模态：临床变量、四种分子图谱和组织病理学图像。SAMVAE利用特定模态的编码器将输入投影到共享的潜在空间中，在保留特定模态信息的同时实现鲁棒的生存预测。其参数化公式能够从输出分布中推导出具有临床意义的统计数据，通过交互式多媒体提供患者特定的见解，有助于做出更明智的临床决策，并为肿瘤学中可解释的、数据驱动的生存分析奠定基础。我们在两个癌症队列（乳腺癌和低级别胶质瘤）上评估了SAMVAE，应用了定制的预处理、降维和超参数优化。结果表明，在不同数据集上成功实现了多模态数据在标准生存分析和竞争风险场景下的整合。与SOTA多模态生存模型相比，我们的模型取得了具有竞争力的性能。值得注意的是，这是首个结合竞争风险同时对特定事件连续时间进行建模的参数化多模态深度学习架构，同时使用了表格数据和图像数据。