基于基础模型嵌入的多模态癌症建模

癌症基因组图谱 (TCGA) 已促进新发现并作为癌症通过其整合的基因组、临床和影像数据的大规模参考数据集。大量先前研究在 TCGA 上开发专门的深度学习模型用于癌症生存预测等任务。生物医学深度学习的现代范式是开发基础模型 (FM) 以无特定建模任务相关的特征嵌入。生物医学文本特别是看到 FM 的发展日益增长。虽然 TCGA 包含作为病理报告的自由文本数据，但这些数据历史上被低估。本文我们考察在癌症数据的多模态、零样题 FM 嵌入上训练经典机器学习模型的能力。我们展示了多模态融合的便捷性和叠加效应，超越单一模态模型。进一步，我们显示包括病理报告文本的好处，并严格评估模型基文本摘要和幻觉的影响。总体而言，我们提出一种以嵌入为中心的多模态癌症建模方法。