注意力需要聚焦：注意力分配的统一视角

Transformer 架构作为现代大型语言模型（LLM）的基石，因其注意力机制在序列建模中取得了惊人的成功。然而，尽管其强大功能，标准注意力机制仍存在代表性坍缩和注意力沉积等公认问题。尽管已有工作为这些问题提出了方法，但往往是孤立地加以研究，掩盖了其深层联系。本文提出统一视角，认为两者都可追溯至根本原因——不当的注意力分配。我们识别了两种失效模式：1）注意力过载（Attention Overload），即令牌接收相当的高权重，模糊语义特征导致代表性坍缩；2）注意力不足（Attention Underload），即无令牌具语义相关性，却仍被迫分配注意力，导致不恰当的聚焦，如注意力沉积。基于此洞见，我们引入惰性注意力（Lazy Attention）——一种旨在实现更集中注意力分布的新型机制。为缓解过载，它在头和维度上采用位置判别，以锐化令牌区分度。为抵消不足，它引入弹性softmax（Elastic-Softmax）——一种修改标准softmax约束的归一化函数，以抑制对无关令牌的注意力。在FineWeb-Edu语料库上进行的实验，经过九个多样化基准测试评估，表明惰性注意力成功缓解了注意力沉积，性能与标准注意力及现代架构相当，同时实现最高59.58%的注意力稀疏度。