PRIME：面向缺失模态的癌症预后原型驱动多模态预训练
机器学习
2026-04-08 v1 人工智能
摘要
多模态自监督预训练为癌症预后提供了一条有前景的途径，通过整合组织病理学全切片图像、基因表达和病理报告，但大多数现有方法需要完全配对和完整的输入。在实践中，临床队列是碎片化的，通常缺失一种或多种模态，限制了监督融合和可扩展的多模态预训练。我们提出 PRIME，一个面向缺失感知的多模态自监督预训练框架，可从部分观测的队列中学习鲁棒且可迁移的表示。PRIME 将异构模态嵌入映射到统一的标记空间，并引入共享原型记忆库，通过患者级共识检索进行潜在空间语义填补，产生结构对齐的标记而无需重建原始信号。两个互补的预训练目标：模态间对齐和在结构化缺失增强下的融合后一致性，共同学习在任意模态子集下仍具有预测能力的表示。我们在包含 32 种癌症类型的无标签预训练以及五个队列上针对总体生存预测、3 年死亡率分类和 3 年复发分类的 5 折评估中评估 PRIME。PRIME 在所有比较方法中取得了最佳的宏平均性能，分别达到 0.653 C-index、0.689 AUROC 和 0.637 AUROC，同时提升了测试时缺失性下的鲁棒性，并支持参数高效和标签高效的适配。这些结果支持缺失感知多模态预训练作为碎片化临床数据环境中预后建模的实用策略。
引用
@article{arxiv.2604.04999,
title = {PRIME: Prototype-Driven Multimodal Pretraining for Cancer Prognosis with Missing Modalities},
author = {Kai Yu and Shuang Zhou and Yiran Song and Zaifu Zhan and Jie Peng and Kaixiong Zhou and Tianlong Chen and Feng Xie and Meng Wang and Huazhu Fu and Mingquan Lin and Rui Zhang},
journal= {arXiv preprint arXiv:2604.04999},
year = {2026}
}