面向生存分析的跨模态翻译与对齐

随着高通量测序技术的快速发展，生存分析的重点已从检查临床指标转向将基因组图谱与病理图像相结合。然而，现有方法要么直接采用病理特征与基因组图谱的简单融合进行生存预测，要么以基因组图谱为指导来整合病理图像的特征。前者会忽略内在的跨模态关联，后者则会丢弃与基因表达无关的病理信息。为解决这些问题，我们提出一种跨模态翻译与对齐（CMTA）框架，以探索内在的跨模态关联并传递潜在的互补信息。具体而言，我们为多模态数据构建两个并行的编码器-解码器结构，以整合模态内信息并生成跨模态表示。利用生成的跨模态表示来增强和重校准模态内表示，可显著提升其判别力，从而支持全面的生存分析。为探索内在的跨模态关联，我们进一步设计了一个跨模态注意力模块作为不同模态之间的信息桥梁，以执行跨模态交互并传递互补信息。我们在五个公开 TCGA 数据集上的大量实验表明，我们所提出的框架优于当前最先进的方法。