基于无softmax转换器和序列归一化的计算高效医学图像分类
计算机视觉与模式识别
2024-06-04 v1 人工智能
摘要
转换器模型在自然语言处理、语音识别和计算机视觉等领域取得了重要进展。然而，该模型相对于序列长度存在二次计算和内存复杂度，这限制了其在长序列上的应用。这在医学影像中尤为关键，因为高分辨率图像的尺度可达像素级。目前解决此问题的工作主要聚焦于复杂技术，如分解转换器体系结构中不可或缺的softmax操作。本文针对转换器模型的二次计算复杂度提出一种极其简单且有效的方法，通过消除注意力机制中的softmax函数并采用序列归一化技术处理查询、键和值token。结合矩阵运算顺序的重新安排，该方法将内存和计算复杂度降低至线性尺度。我们在包括底图、皮肤镜、放射学和组织学影像数据等多个医学影像数据集上进行评估。我们的发现表明，这些模型在性能上与传统转换器模型相当，同时能够高效处理更长的序列。
引用
@article{arxiv.2406.01314,
title = {Compute-Efficient Medical Image Classification with Softmax-Free Transformers and Sequence Normalization},
author = {Firas Khader and Omar S. M. El Nahhas and Tianyu Han and Gustav Müller-Franzes and Sven Nebelung and Jakob Nikolas Kather and Daniel Truhn},
journal= {arXiv preprint arXiv:2406.01314},
year = {2024}
}