用于不完整多模态生存预测的蒸馊式提示学习
机器学习
2025-03-25 v2 人工智能
计算机视觉与模式识别
摘要
多模态数据（包括病理图像和基因组）的集成在精确生存预测中得到广泛应用。尽管近期在多模态生存模型方面取得了进展，但收集多模态融合所需的完整模态数据仍是一个显著挑战，阻碍了其在临床应用中的部署。当前解决不完整模态问题的方法通常不足，仅能补偿缺失模态的有限知识。为此，我们提出了蒸馊式提示学习框架（DisPro），利用大语言模型（LLM）对缺失模态具有的强鲁棒性，采用两阶段提示技术来补充缺失模态的全面信息。在第一阶段，单模态提示（UniPro）提炼每个模态的知识分布，为在后续阶段中为缺失模态补充模态特定知识做准备。在第二阶段，多模态提示（MultiPro）利用可用模态作为提示供给LLM推断缺失模态，提供模态通用信息。同时，注入第一阶段获取的单模态知识，以补偿缺失模态的模态特定知识。广泛的实验覆盖了各种缺失情景，证明了所提方法的优越性。代码已公开于https://github.com/Innse/DisPro。
引用
@article{arxiv.2503.01653,
title = {Distilled Prompt Learning for Incomplete Multimodal Survival Prediction},
author = {Yingxue Xu and Fengtao Zhou and Chenyu Zhao and Yihui Wang and Can Yang and Hao Chen},
journal= {arXiv preprint arXiv:2503.01653},
year = {2025}
}
备注
Accepted by CVPR2025