TractoFormer：一种基于谱嵌入与视觉 Transformer 的纤维级全脑纤维束成像分析框架
图像与视频处理
2022-07-12 v3 计算机视觉与模式识别
机器学习
摘要
扩散 MRI 纤维束成像是一种用于定量绘制脑结构连接的先进成像技术。全脑纤维束成像（WBT）数据包含超过数十万条个体纤维流线（估算的脑连接），该数据通常被分区以创建紧凑表示，用于疾病分类等数据分析应用。本文提出一种新颖的无分区 WBT 分析框架 TractoFormer，其在个体纤维流线层面利用纤维束成像信息，并借助 transformer 的注意力机制提供对结果的自然解释机制。TractoFormer 包含两项主要贡献：首先，我们提出一种新颖且简洁的 WBT 二维图像表示 TractoEmbedding，用于编码三维纤维空间关系以及可从个体纤维计算出的任意感兴趣特征（如 FA 或 MD）；其次，我们设计了一个基于视觉 Transformer（ViT）的网络，包括：1）数据增强以克服小数据集上的模型过拟合，2）识别判别性纤维以解释结果，3）集成学习以利用来自不同脑区的纤维信息。在合成数据实验中，TractoFormer 成功识别出具有模拟组间差异的判别性纤维。在比较多种方法的疾病分类实验中，TractoFormer 在精神分裂症与对照组分类中取得最高准确率。判别性纤维分布于左半球额叶与顶叶浅层白质区域，这些区域此前已被证实在精神分裂症患者中受损。
引用
@article{arxiv.2207.02327,
title = {TractoFormer: A Novel Fiber-level Whole Brain Tractography Analysis Framework Using Spectral Embedding and Vision Transformers},
author = {Fan Zhang and Tengfei Xue and Weidong Cai and Yogesh Rathi and Carl-Fredrik Westin and Lauren J O'Donnell},
journal= {arXiv preprint arXiv:2207.02327},
year = {2022}
}
备注
11 pages. 5 figures, MICCAI 2022