OSDN：基于线性注意力中可provable在线预条件化改进Delta规则
机器学习
2026-05-14 v1 计算与语言
摘要
线性注意力与状态空间模型提供了相对于softmax注意力的常数内存替代方案，但往往在上下文关联记忆方面存在挑战。Delta规则通过对每个token执行一次在线梯度下降来缓解此问题。然而，其步长依赖单一标量门控，忽略了内目标特征级曲率。我们提出Online Scaled DeltaNet (OSDN)，通过超梯度反馈在线更新对角预条件子来扩展标量门控。关键在于，此右侧预条件化在代数上等价于对写入侧 key 进行特征级比例缩放。这一等价性使OSDN能够严格保留DeltaNet硬件友好分块并行管道，同时不引入高维状态开销。理论上，借助内回归损失的精确二次结构，我们建立了对右Newton比较器的超几何收敛，并证明了与算法一致的token局部残差收缩界。为处理非平稳上下文，我们进一步引入自适应预条件化遗忘 (APF) 以动态刷新过期的校准。实验结果表明，OSDN在不同规模下均表现出强劲性能。在3.4亿参数规模下，OSDN对JRT风格的上下文记忆检索性能提升32%。在扩展至13亿参数后，实现了检索残差比率的39%降低，同时在通用下游任务（如困惑度与LongBench）上保持持平——表明我们的在线预条件化机制在十亿级参数规模上有效传递并放大。
引用
@article{arxiv.2605.13473,
title = {OSDN: Improving Delta Rule with Provable Online Preconditioning in Linear Attention},
author = {Chenyu Zhou and Hongpei Li and Yuerou Liu and Jianghao Lin and Dongdong Ge and Yinyu Ye},
journal= {arXiv preprint arXiv:2605.13473},
year = {2026}
}