损失值的骤降：MLM中的句法习得、相变与简洁性偏置
计算与语言
2025-03-25 v6
摘要
NLP中的大多数可解释性研究集中于理解完全训练后模型的行为与特征。然而，某些对模型行为的洞察可能只有通过观察训练过程的轨迹才能获取。我们提出了一项关于掩码语言模型（MLM）中句法习得的案例研究，展示了分析整个训练过程中可解释人工制品的演化如何加深我们对涌现行为的理解。具体而言，我们研究了句法注意力结构（SAS），这是MLM中自然涌现的一种属性，其中特定的Transformer头倾向于关注特定的句法关系。我们确定了预训练中的一个短暂窗口，模型在该窗口内突然习得SAS，同时伴随损失的急剧下降。这一突破促成了后续语言能力的习得。我们随后通过在训练中操纵SAS来检验其因果作用，并证明SAS对于语法能力的发展是必要的。我们进一步发现，SAS在训练期间与其他有益特性竞争，且短暂抑制SAS可改善模型质量。这些发现对简洁性偏置与突破式训练动态的一个真实世界实例提供了诠释。
引用
@article{arxiv.2309.07311,
title = {Sudden Drops in the Loss: Syntax Acquisition, Phase Transitions, and Simplicity Bias in MLMs},
author = {Angelica Chen and Ravid Shwartz-Ziv and Kyunghyun Cho and Matthew L. Leavitt and Naomi Saphra},
journal= {arXiv preprint arXiv:2309.07311},
year = {2025}
}
备注
ICLR 2024 camera-ready; Code is located at https://github.com/angie-chen55/sudden-drops-in-the-loss/tree/main