用于不完整数据下阿尔茨海默病分类的级联多模态混合Transformer
图像与视频处理
2023-07-21 v2 计算机视觉与模式识别
摘要
准确的医学分类需要大量多模态数据，且在许多情况下需要不同类型的特征。先前的研究在使用多模态数据对阿尔茨海默病（AD）等疾病进行分类时显示出有前景的结果，优于单模态模型。然而，这些模型通常不够灵活，无法处理缺失模态。目前最常见的权宜之计是丢弃具有缺失模态的样本，这导致相当程度的数据利用不足。加之已标注医学图像本就稀缺，深度学习等数据驱动方法的性能可能受到严重阻碍。因此，一种能在各种临床环境中处理缺失数据的多模态方法极为必要。本文提出多模态混合Transformer（3MAT），一种不仅利用多模态数据而且能处理缺失数据场景的疾病分类Transformer。在本工作中，我们使用临床与神经影像数据，测试3MT用于AD与认知正常（CN）分类，以及轻度认知障碍（MCI）向进展性MCI（pMCI）或稳定性MCI（sMCI）转化的预测。该模型采用一种新颖的级联模态Transformer架构，结合交叉注意力以融入多模态信息从而获得更具依据的预测。我们提出一种新颖的模态丢弃机制，以确保前所未有的模态独立性与鲁棒性来处理缺失数据场景。其结果是一个通用网络，能够混合任意数量、具有不同特征类型的模态，并确保在缺失数据场景下数据的充分利用。该模型在ADNI数据集上训练与评估，取得SOTA性能，并进一步在具有缺失数据的AIBL数据集上评估。
引用
@article{arxiv.2210.00255,
title = {Cascaded Multi-Modal Mixing Transformers for Alzheimer's Disease Classification with Incomplete Data},
author = {Linfeng Liu and Siyu Liu and Lu Zhang and Xuan Vinh To and Fatima Nasrallah and Shekhar S. Chandra},
journal= {arXiv preprint arXiv:2210.00255},
year = {2023}
}