稀有标记神经元的涌现特性：语言模型中的专门化现象

大型语言模型在表示和生成稀有标记方面存在困难，尽管稀有标记在专业领域中至关重要。本研究识别出一种对语言模型预测稀有标记影响尤为强大的神经结构，称为稀有标记神经元 (rare token neurons)，并探讨其涌现及行为机制。稀有标记神经元表现出三相组织特征（平台期、幂律期和快速衰减），在训练期间动态涌现，从均匀的初始状态演化为功能上差异化的架构。在激活空间中，稀有标记神经元形成一种选择性共激活且避免与其他神经元共激活的协调子网络。这种功能专门化可能与重尾权重分布的发展相关，暗示了涌现专门化的统计力学基础。