PromptDx：面向多模态阿尔茨海默病诊断的可微调 Prompt 调优
计算机视觉与模式识别
2026-05-12 v1 人工智能
摘要
医学影像深度学习模型通常以参数化记忆形式运行，通过回溯训练期间固定知识来诊断患者。这与临床实践形成鲜明对比——医生会通过类比推理，对新病例参考过去的类似记录进行诊断。雖然 Tabular Prior-Fitted Networks (TabPFN) 等 In-Context Learning (ICL) 框架提供了以类比诊断为导向的 promising 方案，但其设计为制表特定的归纳先验，依赖不可微的预处理管道，当应用于异构多模态数据时导致模式不匹配和梯度断裂。為解决這些限制，我们提出了 PromptDx——一個新型以类比诊断为导向的框架，將預訓練的 TabPFN 作為 ICL 引擎，實現與多模態表示的無縫集成。我們的核心貢獻是 Differentiable Prompt Tuning (DPT) 機制，用於將 Masked Multimodal Modeling 模块與預訓練的 ICL 引擎對齊。通過訓練一個作為引擎非可微預處理器的可微替代品，我們在 ICL 框架內實現了多模態 prompts 的端到端優化。我們在使用 3D MRI 和 Tabular 生物標誌符的阿尔茨海默病神經影像目錄 (ADNI) 數據集上驗證了该方法。實驗表明，我們的方法優於傳統參數基線。值得注意的是，我們的方法僅使用 1% 的上下文樣本即可達到優異性能，遠高於標準 ICL 的 30%，顯示出卓越的模式壓縮能力。我們進一步在六個規模各不相同的制表數據集上驗證了 DPT 框架的廣泛適用性。總體而言，我們的方法為阿尔茨海默病诊断提供了更加數據高效且符合臨床實踐的范式。
引用
@article{arxiv.2605.08585,
title = {PromptDx: Differentiable Prompt Tuning for Multimodal In-Context Alzheimer's Diagnosis},
author = {Lujia Zhong and Yihao Xia and Shuo Huang and Jianwei Zhang and Yonggang Shi},
journal= {arXiv preprint arXiv:2605.08585},
year = {2026}
}