建模生物通路与组织学间稠密多模态交互以进行生存预测

整合全切片图像（WSIs）与批量转录组学以预测患者生存，可增进我们对患者预后的理解。然而，由于这些数据性质不同，该多模态任务尤为艰巨：WSIs 表征肿瘤极高维的空间描述，而批量转录组学表征该肿瘤内基因表达水平的全局描述。在此背景下，我们的工作旨在应对两个关键挑战：（1）我们如何以语义上有意义且可解释的方式对转录组学进行分词？（2）我们如何捕捉这两种模态间的稠密多模态交互？具体而言，我们提出从转录组学学习可编码特定细胞功能的生物通路 token。结合编码 WSI 中不同形态学模式的组织学块 token，我们认为它们构成了适用于下游可解释性分析的合理推理单元。我们提出使用一种内存高效的多模态 Transformer 融合两种模态，以建模通路与组织学块 token 间的交互。我们提出的模型 SURVPATH 在来自 The Cancer Genome Atlas 的五个数据集上，相对于单模态与多模态基线均取得了最先进的性能。我们的可解释性框架识别了关键的多模态预后因素，因此能够深入洞察基因型与表型间的相互作用，从而深化对潜在生物机制的理解。我们已公开代码：https://github.com/ajv012/SurvPath。