面向多模态癌症生存预测的 LLM 驱动知识增强
计算机视觉与模式识别
2025-12-17 v1
摘要
当前多模态生存预测方法通常依赖于病理图像（WSIs）和基因组数据，这两者都是高维且冗余的，使得从中提取判别性特征并对齐不同模态具有挑战性。此外，使用简单的生存随访标签来监督这一复杂任务也不够。为此，我们提出了 KEMM（Knowledge-Enhanced Multimodal Model for cancer survival prediction），一种由 LLM 驱动的知识增强多模态模型，用于癌症生存预测，通过整合专家报告和预后背景知识来实现。1）专家报告由病理学家按病例提供，经大语言模型（LLM）精炼后，提供简洁且临床关注的诊断表述。这类信息通常指向不同的生存结果。2）预后背景知识（PBK）由 LLM 简洁生成，提供有价值的癌症类型相关预后背景知识，从而增强生存预测。为充分利用这些知识，我们引入了知识增强跨模态（KECM）注意力模块。KECM 能有效引导网络聚焦于高度冗余模态中与判别性和生存相关的特征。在五个数据集上的大量实验表明，KEMM 实现了最好的性能。代码将在接受后发布。
引用
@article{arxiv.2512.14594,
title = {LLM-driven Knowledge Enhancement for Multimodal Cancer Survival Prediction},
author = {Chenyu Zhao and Yingxue Xu and Fengtao Zhou and Yihui Wang and Hao Chen},
journal= {arXiv preprint arXiv:2512.14594},
year = {2025}
}