面向进行性轻度认知障碍预测的视觉-属性提示学习
计算机视觉与模式识别
2023-10-24 v1
摘要
深度学习（DL）已被用于基于脑影像数据的轻度认知障碍（MCI）与阿尔茨海默病（AD）的自动诊断。然而，以往方法未充分利用专家在实践中广泛采用的脑图像与临床信息之间的关系。为同时利用影像与表格数据中的异构特征，我们提出基于视觉-属性提示学习的Transformer（VAP-Former），一种基于Transformer的网络，通过提示微调高效提取并融合多模态特征。此外，我们提出提示微调（PT）方案，将AD预测任务的知识迁移用于进行性MCI（pMCI）诊断。具体而言，我们首先在无提示情况下于AD诊断任务上预训练VAP-Former，然后在pMCI检测任务上用PT微调模型，仅须优化少量参数而保持主干冻结。接着，我们为视觉提示提出一种新颖的全局提示令牌，为多模态表示提供全局引导。大量实验不仅表明我们的方法在pMCI预测上优于最先进方法，也证明全局提示可使提示学习过程更有效且稳定。有趣的是，所提出的提示学习模型在从AD到pMCI的知识迁移上甚至优于全微调基线。
引用
@article{arxiv.2310.14158,
title = {Visual-Attribute Prompt Learning for Progressive Mild Cognitive Impairment Prediction},
author = {Luoyao Kang and Haifan Gong and Xiang Wan and Haofeng Li},
journal= {arXiv preprint arXiv:2310.14158},
year = {2023}
}
备注
MICCAI 2023, released code: https://github.com/lhaof/VAPL