Surface Vision Transformers：基于注意力的灵活生物医学表面建模
图像与视频处理
2022-04-08 v1 计算机视觉与模式识别
神经元与认知
摘要
Vision Transformers（ViT）近期在计算机视觉任务中的最先进性能表明，一种实现长程自注意力的通用架构可以取代卷积神经网络的局部特征学习操作。本文通过将表面学习任务重新表述为序列到序列学习问题，并为通用表面网格提出分块机制，将ViT扩展到表面。分块序列随后由Transformer编码器处理，并用于分类或回归。我们在一系列不同的生物医学表面领域和任务上验证了我们的方法：发育中人类连接组计划（dHCP）中的脑龄预测、人类连接组计划（HCP）中的流体智力预测，以及使用苏格兰心脏计算机断层扫描（SCOT-HEART）数据集表面进行的冠状动脉钙化评分分类，并研究了预训练和数据增强对模型性能的影响。结果表明，Surface Vision Transformers（SiT）在脑龄和流体智力预测方面，相较于几何深度学习方法表现出一致的改进，并在钙化评分分类上取得了与临床实践中使用的标准度量相当的性能。此外，对Transformer注意力图的分析为驱动每个任务的特征提供了清晰且个性化的预测。代码可在Github上获取：https://github.com/metrics-lab/surface-vision-transformers
引用
@article{arxiv.2204.03408,
title = {Surface Vision Transformers: Flexible Attention-Based Modelling of Biomedical Surfaces},
author = {Simon Dahan and Hao Xu and Logan Z. J. Williams and Abdulah Fawaz and Chunhui Yang and Timothy S. Coalson and Michelle C. Williams and David E. Newby and A. David Edwards and Matthew F. Glasser and Alistair A. Young and Daniel Rueckert and Emma C. Robinson},
journal= {arXiv preprint arXiv:2204.03408},
year = {2022}
}
备注
10 pages, 3 figures, Submitted to IEEE Transactions on Medical Imaging