鲁棒滤波注意力：作为精度加权状态估计的自注意力
机器学习
2026-05-26 v6 人工智能
摘要
我们引入了鲁棒滤波注意力（RFA），一种将自注意力表述为鲁棒状态估计器的公式。每个 token 被视为由线性随机微分方程（SDE）控制的潜在轨迹的含噪观测，注意力权重由该模型下的一致性而非静态特征相似度决定。在各向同性噪声和衰减假设下，RFA 的计算复杂度与标准注意力相当。在语言建模基准上，RFA 在训练窗口内实现了比 RoPE 更低的困惑度，同时在向更长上下文的零样本外推中保持稳定。该框架还提供了标准位置机制的动力学解释，将旋转嵌入和近因偏差与随机动力学引起的传输和不确定性传播联系起来。
引用
@article{arxiv.2509.04154,
title = {Robust Filter Attention: Self-Attention as Precision-Weighted State Estimation},
author = {Peter Racioppo},
journal= {arXiv preprint arXiv:2509.04154},
year = {2026}
}