Delta-Rule 线性 Transformer 的快速且数值稳定的三角矩阵求逆
机器学习
2026-05-21 v1
摘要
线性注意力作为高效长上下文架构的基石，其集成于 Qwen3.5/3.6、Kimi Linear 和 RWKV-7 等最新开源模型中已属事实。采用所谓 Delta-Rule 的线性注意力层涉及三角矩阵求逆，这一操作常构成性能瓶颈，且因其对数值误差高度敏感，若未谨慎实现，可能显著恶化端到模型准确性。本文系统分析了直接法和迭代法的三角矩阵求逆算法，针对富含矩阵乘积的方法进行考察，因为这些方法有潜力有效利用现代硬件。为此，我们的分析涵盖了广泛的数学与实际方面，重点关注数值稳定性、计算复杂度以及最终的硬件效率和实践考量。我们提供了严格的实验评估以验证这些属性在实际场景中的表现，并在低精度浮点表示下突出显示了各方法的优势与局限。NPU 上的性能基准显示，三角矩阵求逆可实现最高达 的速度提升，显著提升整个层级的性能，同时保持完整的端到端模型准确性。
关键词
引用
@article{arxiv.2605.21325,
title = {Fast and Stable Triangular Inversion for Delta-Rule Linear Transformers},
author = {Aleksandros Sobczyk and Gioele Gottardo and Christos K. Matzoros and Mirko De Vita and Filip Skogh and Anastasios Zouzias and Jiawei Zhuang},
journal= {arXiv preprint arXiv:2605.21325},
year = {2026}
}
备注
Preprint