REMEMBER：面向零样态和少样本神经退行性疾病诊断的检索式、可解释、多模态证据导向脑部评估与推理
摘要
timely and accurate diagnosis of neurodegenerative disorders, such as Alzheimer's disease, is central to disease management. Existing deep learning models require large-scale annotated datasets and often function as "black boxes"。此外，临床实践中的数据集常常较小或未标记，限制了深度学习方法的潜力。在本工作中，我们引入了 REMEMBER —— Retrieval-based Explainable Multimodal Evidence-guided Modeling for Brain Evaluation and Reasoning（检索式、可解释、多模态证据导向脑部评估与推理）——一种新的机器学习框架，通过 reference-based reasoning process 实现对通过脑 MRI 扫描的零-和 少样本阿尔茨海默病诊断。具体而言，REMEMBER 首先使用专家标注的 reference 数据训练一个 contrastively 对齐的 vision-text 模型，并扩展包含异常类型、诊断标签和复合临床描述的伪文本模态。随后，在推断时，REMEMBER 从精选数据集中检索相似且经人类验证的案例，并通过专门的证据编码模块和注意力机制推理头整合其上下文信息。这种证据导向的设计使 REMEMBER 能够通过检索到的影像和文本上下文来模拟真实世界临床决策过程。具体而言，REMEMBER 输出诊断预测及其可解释报告，包括参考影像和与临床工作流程对齐的解释。实验结果表明，REMEMBER 在零-和 少样本情境下实现了稳健的性能，为受限数据环境下的神经影像学诊断提供了强大且可解释的框架。
引用
@article{arxiv.2504.09354,
title = {REMEMBER: Retrieval-based Explainable Multimodal Evidence-guided Modeling for Brain Evaluation and Reasoning in Zero- and Few-shot Neurodegenerative Diagnosis},
author = {Duy-Cat Can and Quang-Huy Tang and Huong Ha and Binh T. Nguyen and Oliver Y. Chén},
journal= {arXiv preprint arXiv:2504.09354},
year = {2025}
}