视觉中的静态键注意力
计算机视觉与模式识别
2024-12-11 v1
摘要
视觉变换器的成功广泛归因于其动态参数化的多头自注意力机制的表达能力。我们研究了将视觉变换器中标准注意力机制的动态参数化键替换为静态键的影响。我们的发现表明，静态键注意力机制可以匹配甚至超越标准自注意力的性能。将静态键注意力模块集成到 Metaformer 主干网络中，我们发现它在分层混合架构中充当更好的中间阶段，平衡了逐深度卷积和自注意力的优势。在多个视觉任务上的实验证实了静态键机制的有效性，表明注意力中典型的两步动态参数化在某些情况下可以简化为一步而不影响性能。
引用
@article{arxiv.2412.07049,
title = {Static Key Attention in Vision},
author = {Zizhao Hu and Xiaolin Zhou and Mohammad Rostami},
journal= {arXiv preprint arXiv:2412.07049},
year = {2024}
}