自监督 fMRI 时间序列 Transformer 的预训练任务用于自闭症检测
计算机视觉与模式识别
2024-09-20 v1
摘要
自闭症谱系障碍 (ASD) 是一种神经发育障碍，包含多种症状和程度的障碍，使诊断和治疗具有挑战性。功能磁共振成像 (fMRI) 已广泛用于研究 ASD 中的脑活动，机器学习方法也被应用于分析静息状态 fMRI (rs-fMRI) 数据。然而，较少有研究探索最新的基于 Transformer 的模型在 rs-fMRI 数据上的应用。鉴于 Transformer 模型在捕获序列数据中长程依赖方面的优势，我们开发了一个基于 Transformer 的自监督框架，直接分析 fMRI 时间序列数据，而无需计算功能连接。为解决小数据集中的过拟合问题并提升模型性能，我们提出自监督预训练任务以重建随机遮蔽的 fMRI 时间序列数据，探讨各种遮蔽策略的效果。随后我们在 ASD 分类任务上进行微调，使用两个公开数据集和五折交叉验证评估，测试不同训练数据量下的表现。实验表明，在预训练步骤中对整个 ROI 随机遮蔽比对时间点随机遮蔽更能提升模型性能，在不同训练数据可得性下，平均 AUC 提升 10.8%，受体准确率提升 9.3%。我们的代码已在 GitHub 上提供。
引用
@article{arxiv.2409.12304,
title = {Self-Supervised Pre-training Tasks for an fMRI Time-series Transformer in Autism Detection},
author = {Yinchi Zhou and Peiyu Duan and Yuexi Du and Nicha C. Dvornek},
journal= {arXiv preprint arXiv:2409.12304},
year = {2024}
}