TriFormer：一种用于轻度认知障碍转化预测的多模态Transformer框架
计算机视觉与模式识别
2023-07-17 v1 人工智能
摘要
预测轻度认知障碍（MCI）向阿尔茨海默病（AD）的转化对于早期治疗以预防或延缓AD进展具有重要意义。为准确预测MCI向稳定性MCI或进展性MCI的转化，我们提出Triformer，一种基于Transformer的新型框架，采用三个专用Transformer以融合多模态数据。Triformer使用：I）图像Transformer从医学扫描中提取多视角图像特征；II）临床Transformer嵌入并关联多模态临床数据；III）模态融合Transformer，基于融合图像与临床Transformer的输出来生成准确预测。Triformer在阿尔茨海默病神经影像倡议（ADNI）1和ADNI2数据集上进行了评估，并优于先前最先进的单模态与多模态方法。
引用
@article{arxiv.2307.07177,
title = {TriFormer: A Multi-modal Transformer Framework For Mild Cognitive Impairment Conversion Prediction},
author = {Linfeng Liu and Junyan Lyu and Siyu Liu and Xiaoying Tang and Shekhar S. Chandra and Fatima A. Nasrallah},
journal= {arXiv preprint arXiv:2307.07177},
year = {2023}
}