多示例神经影像 Transformer
计算机视觉与模式识别
2023-11-27 v1 机器学习
摘要
我们首次提出使用基于多示例学习且无卷积的 transformer 模型，称为多示例神经影像 Transformer（MINiT），用于 T1 加权（T1w）MRI 的分类。我们首先提出几种适用于神经影像的 transformer 模型变体。这些模型从输入体数据中提取非重叠的 3D 块，并对其线性投影的序列执行多头自注意力。另一方面，MINiT 将输入 MRI 的每个非重叠 3D 块视为其自身的实例，进一步将其拆分为非重叠的 3D 小块，并在其上计算多头自注意力。作为概念验证，我们通过训练模型从两个公共数据集——青少年脑认知发育（ABCD）与全国酒精与神经发育青春期联盟（NCANDA）——的 T1w-MRI 中识别性别来评估我们模型的有效性。学习到的注意力图突出了有助于识别脑形态测量中性别差异的体素。代码可在 https://github.com/singlaayush/MINIT 获取。
引用
@article{arxiv.2208.09567,
title = {Multiple Instance Neuroimage Transformer},
author = {Ayush Singla and Qingyu Zhao and Daniel K. Do and Yuyin Zhou and Kilian M. Pohl and Ehsan Adeli},
journal= {arXiv preprint arXiv:2208.09567},
year = {2023}
}