时序注意力中的随机鸭子现象——调节对角线 Sink
机器学习
2026-03-09 v3
摘要
时空模型分析空间结构和时序动态，因而容易出现空间和时间之间的信息退化。先前文献已演示，在因果注意力或时序卷积中出现过度压榨会导致对前导 token 的偏差。为分析这种偏差是否存在于时序注意力机制中，我们推导了时序注意力层 Jacobian 期望值的 sensitivity bounds。我们理论上展示了非对角注意力得分如何依赖于序列长度，时序注意力矩阵会受到对角线注意力 sink 的影响。我们提出了正则化方法，并在实验中证明了其有效性。
引用
@article{arxiv.2602.10956,
title = {Stochastic Parroting in Temporal Attention -- Regulating the Diagonal Sink},
author = {Victoria Hankemeier and Malte Schilling},
journal= {arXiv preprint arXiv:2602.10956},
year = {2026}
}
备注
Accepted at ESANN 2026, Code: https://github.com/vicky-hnk/spatio-temp-parroting