基于掩码的稀疏多模态 Transformer 用于阿尔茨海默病分类
人工智能
2025-12-17 v1
摘要
基于 Transformer 的多模态智能系统因稠密自注意力导致高计算与能耗成本，在资源受限条件下难以扩展。本文提出 SMMT（稀疏多模态 Transformer），一种旨在提升效率与鲁棒性的稀疏架构。基于级联多模态 Transformer 框架，SMMT 引入基于簇的稀疏注意力，以实现接近线性的计算复杂度，并引入模态级掩码以提升对不完整输入的鲁棒性。该架构以 ADNI 数据集上的阿尔茨海默病分类为代表的多模态案例进行评估。实验结果表明，SMMT 在保持具竞争力的预测性能的同时，显著降低了训练时间、内存使用与能耗，相较于稠密注意力基线，展示了其作为资源感知型架构组件在可扩展智能系统中的适用性。
引用
@article{arxiv.2512.14491,
title = {Sparse Multi-Modal Transformer with Masking for Alzheimer's Disease Classification},
author = {Cheng-Han Lu and Pei-Hsuan Tsai},
journal= {arXiv preprint arXiv:2512.14491},
year = {2025}
}
备注
8 pages, 7 figures