支持基：超越有界条目的快速注意力
机器学习
2026-03-20 v2
摘要
大语言模型 (LLM) 已在广泛的任务中展示出卓越的性能。然而，softmax 注意力的二次复杂度仍是限制其可扩展性的核心瓶颈。Alman 和 Song（NeurIPS 2023a；NeurIPS 2024a）分别提出了用于注意力推理和训练的亚二次时间算法，但它们依赖于限制性的有界条目假设。我们指出，这一假设在实际中很少成立，这显著限制了其适用于现代 LLM 的范围。本文中，我们引入支持基分解，这是一种用于无有界条目假设下进行准确且高效注意力推理和训练的新技术。我们经验性地表明，查询矩阵和键矩阵的条目呈现亚高斯行为。利用这一广泛观察到的性质，我们对稀疏成分进行精确计算，对稠密成分进行多项式近似。在不依赖限制性假设的前提下，我们理论上表明该算法在保持与先前工作相当的近似误差的同时实现亚二次运行时间，并经验验证了其计算效率和下游任务性能。我们进一步将该方法推广到多阈值设置中，以消除所有分布性假设，为先验观察到的多项式注意力成功提供了首个理论依据。此外，我们表明 softmax 注意力可通过多个多项式注意力进行很好地近似，且具有显著更小的 误差。
引用
@article{arxiv.2510.01643,
title = {Support Basis: Fast Attention Beyond Bounded Entries},
author = {Maryam Aliakbarpour and Vladimir Braverman and Junze Yin and Haochen Zhang},
journal= {arXiv preprint arXiv:2510.01643},
year = {2026}
}
备注
AISTATS 2026 (Spotlight). Our code can be found at: https://github.com/yinj66/support_basis