算法任务中的静默特征学习

我们在十个基础算法任务上训练了基于Transformer的语言模型，并观察到其损失曲线中出现明显的相变现象，这些现象偏离了既定的幂律缩放趋势。在较大的计算量范围内，验证损失几乎不改善，然后突然下降。探测模型的内部表示揭示，静默特征在任何任务损失下降之前就已经被学习到。这些静默特征代表了中间算法计算，它们本身并不改善输出损失。消融实验表明，单个静默特征对于任务性能是因果必要的。我们的结果表明，实质性的表示进展可能隐藏在看似平坦的损失曲线之下，这对普遍使用交叉熵作为学习代理的做法提出了挑战，并激励了用于监控模型训练的、更丰富的诊断方法。