高效注意力机制之间的公平比较
计算机视觉与模式识别
2022-06-02 v1 机器学习
摘要
Transformer 已成功应用于多个领域，并正成为计算机视觉中的标准工具。然而，作为 Transformer 核心组件的自注意力具有二次复杂度问题，这限制了 Transformer 在各种需要密集预测的视觉任务中的应用。已有许多旨在解决该问题的研究被提出。但由于模型配置、训练方案及新方法的差异，尚未有在相同规模下对这些方法进行比较研究的报道。在本文中，我们仅在改变注意力操作的前提下，在 ImageNet1K 分类任务上验证这些高效注意力模型，并考察哪种高效注意力更优。
引用
@article{arxiv.2206.00244,
title = {Fair Comparison between Efficient Attentions},
author = {Jiuk Hong and Chaehyeon Lee and Soyoun Bang and Heechul Jung},
journal= {arXiv preprint arXiv:2206.00244},
year = {2022}
}
备注
4 pages abstract