窗口注意力存在缺陷：为何不应插值位置嵌入
计算机视觉与模式识别
2023-11-10 v1
摘要
窗口注意力、位置嵌入和高分辨率微调是现代计算机视觉中变压器的核心概念。然而，我们发现将这些最常用的组件简单组合可能对性能产生不利影响。问题的核心在于：在使用窗口注意力时进行位置嵌入插值是错误的。我们研究了两种最先进的方法——Hiera 和 ViTDet——发现它们都受此缺陷影响。为修复此问题，我们提出一种简单绝对窗口位置嵌入策略，该策略在 Hiera 中彻底解决了该缺陷，并使 ViTDet 的速度和性能均得到提升。我们最终将两者结合，获得 HieraDet，在 COCO 数据集上实现 61.7 box mAP，成为仅使用 ImageNet-1k 预训练的模型中最先进的水平。这一问题本质上源于一个仅需 3 行代码的简单修复，我们将其命名为 "absolute win"。
引用
@article{arxiv.2311.05613,
title = {Window Attention is Bugged: How not to Interpolate Position Embeddings},
author = {Daniel Bolya and Chaitanya Ryali and Judy Hoffman and Christoph Feichtenhofer},
journal= {arXiv preprint arXiv:2311.05613},
year = {2023}
}
备注
Preprint. Code release will be coming in the future