CvFormer：用于人脑fMRI分析的带预训练跨视图Transformer
图像与视频处理
2023-09-18 v1
摘要
近年来，功能磁共振成像（fMRI）被广泛用于诊断神经疾病，通过利用人脑中的感兴趣区域（RoI）节点及其连接性。然而，大多数现有工作仅依赖RoI或连接性之一，忽视了它们之间互补信息的潜力。为解决此问题，我们研究如何发现人脑fMRI数据中的丰富跨视图信息。本文提出一种用于人脑fMRI数据跨视图分析的新方法，称为跨视图Transformer（CvFormer）。CvFormer采用RoI和连接性编码器模块生成人脑的两个独立视图，表示为RoI和子连接性令牌。然后，基础transformer模块可用于处理RoI和子连接性令牌，跨视图模块整合两视图间的互补信息。此外，CvFormer为每个分支使用全局令牌作为查询，在跨视图模块中与其他分支交换信息，其计算和内存复杂度仅需线性时间而非二次时间。为增强所提CvFormer的鲁棒性，我们提出两阶段策略训练其参数。具体而言，RoI和连接性视图可首先用作自监督信息，通过结合对比学习预训练CvFormer，然后融合利用标签信息微调CvFormer。在两个公开ABIDE和ADNI数据集上的实验结果可显示所提CvFormer的明显改进，验证其有效性和优越性。
引用
@article{arxiv.2309.07940,
title = {CvFormer: Cross-view transFormers with Pre-training for fMRI Analysis of Human Brain},
author = {Xiangzhu Meng and Qiang Liu and Shu Wu and Liang Wang},
journal= {arXiv preprint arXiv:2309.07940},
year = {2023}
}