HoloDx：面向阿尔茨海默病的知识驱动与数据驱动多模态诊断框架
计算机视觉与模式识别
2025-09-17 v2
摘要
准确诊断阿尔茨海默病（AD）需要有效整合多模态数据与临床专家知识。然而，现有方法常难以充分利用多模态信息，缺乏结构化机制将动态领域知识纳入模型。为此，本文提出HoloDx框架，通过知识注入模块与知识感知门控跨注意力机制，实现大语言模型（LLM）与临床专家知识的动态集成。同时，设计的记忆注入模块通过原型记忆注意力机制，使模型能够保留与检索个体特定信息，确保决策一致性。通过联合运用这些机制，HoloDx提升可解释性，增强鲁棒性，并有效将先验知识与当前患者数据对齐。在五个AD数据集上的评估表明，HoloDx超越当前最先进方法，实现诊断准确率提升，并在不同队列间展现强泛化能力。
引用
@article{arxiv.2504.19075,
title = {HoloDx: Knowledge- and Data-Driven Multimodal Diagnosis of Alzheimer's Disease},
author = {Qiuhui Chen and Jintao Wang and Gang Wang and Yi Hong},
journal= {arXiv preprint arXiv:2504.19075},
year = {2025}
}
备注
Accepted by IEEE Transactions on Medical Imaging (TMI)