SchoenbAt：基于多项式基的重新思考注意力机制
机器学习
2025-05-20 v1
摘要
核化注意力通过核函数对序列相关性建模，从而在优化注意力方面取得了显著进展。在谐波分析理论的保证下，核函数可以用基函数展开，这激发了基于随机特征的方法以在保持预测性能的同时提高核化注意力效率。然而，当前基于随机特征的方法仅限于根据博克纳定理进行傅里叶基展开。我们提出了基于肖恩伯格定理的注意力机制（SchoenbAt），通过随机马克拉维ン特征对点积核化注意力进行多项式基近似，并应用两阶段正则化以约束输入空间并恢复输出尺度，作为点积核化注意力的即插即用替代方案。我们对SchoenbAt的无偏性和浓度误差界的理论证明支持其作为核化注意力近似的效率和准确性，这在各种随机特征维度下也得到了实证验证。在真实数据集上的评估表明，SchoenbAt在计算速度方面显著提升，同时在精度、优于性等方面保持了具竞争力的性能，优于几种高效注意力方法。
引用
@article{arxiv.2505.12252,
title = {SchoenbAt: Rethinking Attention with Polynomial basis},
author = {Yuhan Guo and Lizhong Ding and Yuwan Yang and Xuewei Guo},
journal= {arXiv preprint arXiv:2505.12252},
year = {2025}
}