通过视觉语言适应理解手写体阿尔茨海默病筛查中的跨任务泛化
计算机视觉与模式识别
2025-11-11 v1 人工智能
摘要
阿尔茨海默病是一种常见的神经退行性疾病，早期检测至关重要。手写体在早期阿尔茨海默病（prodromal AD）中常被破坏，提供了一种非侵入且成本效益高的方式，以细微的运动和认知衰退为窗口。现有的基于手写体的阿尔茨海默病研究大多依赖在线轨迹和手工特征，尚未系统性地检验任务类型如何影响诊断性能及跨任务泛化。与此同时，大规模视觉语言模型在自然图像中表现出强大的零或少量样本异常检测能力，并在胸片和脑MRI等医学模态之间展现出强大的适应性。然而，手写体疾病检测在这一范式中仍鲜有探索。为弥合这一差距，我们引入了轻量级的跨层融合适配器框架（Cross-Layer Fusion Adapter，CLFA），将CLIP用于手写体阿尔茨海默病筛查。CLFA在视觉编码器中植入多级融合适配器，以手写体特定的医学线索为目标逐步对齐表征，实现无需提示且高效的零样本推理。通过该框架，我们系统性地检验了跨任务泛化——即在特定手写体任务上训练并在未见任务上评估——以揭示哪些任务类型和书写模式最有效地区分阿尔茨海默病。广泛的分析进一步突出了特征笔画模式和任务层次因素，这些因素有助于早期阿尔茨海默病识别，为诊断提供见解并为手写体认知评估提供基准。
引用
@article{arxiv.2511.05841,
title = {Understanding Cross Task Generalization in Handwriting-Based Alzheimer's Screening via Vision Language Adaptation},
author = {Changqing Gong and Huafeng Qin and Mounim A. El-Yacoubi},
journal= {arXiv preprint arXiv:2511.05841},
year = {2025}
}