位置LSH：用于线性偏置注意力的二值块矩阵近似
机器学习
2026-05-12 v1 数据结构与算法
摘要
Transformer 中的位置编码通常通过位置嵌入、注意力掩码或偏置项来实现，但这些机制之间的形式化联系仍然有限。我们通过局部敏感哈希（LSH）的视角研究带有位置偏置的注意力，重点关注带有线性偏置的注意力（ALiBi）。我们证明，ALiBi 偏置矩阵是由“位置LSH”方案诱导的连续块对角二值掩码的期望。从该方案采样的掩码的经验均值以高概率提供具有有界块大小的谱范数和最大范数近似保证。该结构定理蕴含了 ALiBi 偏置注意力的统一近似定理：以高概率在采样掩码上，近似注意力输出对于所有查询-键-值输入同时准确，并且可以在上下文长度中近线性时间内计算，将长上下文 ALiBi 归约为一系列随机短上下文常规（位置无偏）注意力操作。在概念上，这在一个单一的形式化框架中联系了位置偏置、掩码和位置嵌入，并提出了一种高效的 ALiBi 偏置注意力方法。在大型语言模型上的实验验证了我们的理论发现。
引用
@article{arxiv.2605.09472,
title = {Positional LSH: Binary Block Matrix Approximation for Attention with Linear Biases},
author = {Daniel Wolfson and Tal Wagner},
journal= {arXiv preprint arXiv:2605.09472},
year = {2026}
}