表面视觉Transformer：基于注意力的建模应用于皮层分析

卷积神经网络（CNNs）向非欧几何的扩展催生了多种研究流形的框架。其中许多方法存在设计局限，导致对长程关联的建模不佳，因为卷积到不规则表面的推广并非易事。受计算机视觉中注意力建模成功的启发，我们将无卷积的视觉Transformer方法迁移至表面数据，引入一种领域无关的架构以研究投影到球面流形上的任意表面数据。此处表面分块通过将球面数据表示为从细分二十面球中提取的三角面片序列来实现。Transformer模型通过连续的多头自注意力层对面片序列进行编码，同时保持序列分辨率。我们在基于发育中人脑连接组计划（dHCP）的皮层表面指标表型回归任务上验证了所提表面视觉Transformer（SiT）的性能。实验表明SiT总体优于表面CNN，且在配准与未配准数据上表现相当。对Transformer注意力图的分析为刻画细微认知发育模式提供了强大潜力。