面向阿尔茨海默病分类的多模态视觉替代压缩
计算机视觉与模式识别
2026-01-30 v1
摘要
高维结构磁共振成像（sMRI）图像在阿尔茨海默病（AD）诊断中广泛应用。现有方法大多依赖 3D 架构（如 3D CNN）、基于切片的特征提取后聚合，或应用训练无关的特征提取使用 2D 基础模型（如 DINO）。然而，这三种方法分别 suffer于高计算成本、丢失跨切片关系以及有限提取判别性特征的能力。为此，我们提出多模态视觉替代压缩（MVSC）。它学习将大型 3D sMRI 体积压缩并适配为紧凑的 2D 特征，称为视觉替代品，这些特征更好地与冻结的 2D 基础模型对齐，以提取强大的表示用于最终 AD 分类。MVSC 包含两个关键组件：在文本指导下捕获全局跨切片上下文的体积上下文编码器，以及以文本增强的方式进行切片级信息的自适应切片融合模块。在三个大型阿尔茨海默病基准数据集上的大量实验表明，我们的 MVSC 在二分类和多分类任务上均优于当前最先进的方法。
引用
@article{arxiv.2601.21673,
title = {Multimodal Visual Surrogate Compression for Alzheimer's Disease Classification},
author = {Dexuan Ding and Ciyuan Peng and Endrowednes Kuantama and Jingcai Guo and Jia Wu and Jian Yang and Amin Beheshti and Ming-Hsuan Yang and Yuankai Qi},
journal= {arXiv preprint arXiv:2601.21673},
year = {2026}
}