希尔伯特导引的稀疏局部注意力

全局自注意力的二次计算和内存成本严重限制了其在高分辨率图像中的应用。局部注意力通过限制注意力范围降低复杂度，但常规局部注意力模式因令牌在 1D 序列中不连续，往往难以实现显著加速。本文提出一种基于希尔伯特曲线构造窗口和邻域的方法。首先将图像令牌沿希尔伯特曲线重排，再在重排后的 1D 序列上构建窗口和邻域。从块稀疏视角看，该策略显著提升块稀疏度，可与现有块稀疏核结合，提高 2D 局部注意力效率。实验表明，所提希尔伯特窗口注意力和希尔伯特滑动注意力分别将窗口注意力和滑动注意力加速约 $4\times$ 和 $18\times$。为评估实用性，本文将其分别实现为希尔伯特窗口转换器和希尔伯特邻域转换器，两者均实现端到端加速， accuracy 损失最小。总体而言，结合希尔伯特导引的局部注意力与块稀疏核，为增强 2D 局部注意力效率提供了通用且实用的方案。