大语言模型如何陷入僵局：早期结构伴随持久错误
计算与语言
2026-03-12 v2 机器学习
摘要
语言学见解或有助于提高大语言模型（LLM）的训练效率。我们在 100M 词的 BabyLM 数据集上训练 Meta 的 OPT 模型，并在 BLiMP 基准（包含 67 类，每类由差异化语法或语义规则违规的句子对定义）上进行评估。我们测试了模型在训练迭代过程中对语法句子与非语法句子概率更高倾向性。对于近三分之一的 BLiMP 类，OPT 在经广泛训练后仍未能持续为语法句子分配更高概率。当它失败时，往往在处理早期阶段就建立了明确的（错误的）概率分离，并在训练阶段的最后维持了这一点。我们假设，这种误分类代价高昂，因为它会创建 entrenched 偏见，最终必须被反转才能使模型表现良好。我们采用定性（基于语言学理论和深度学习理论）和定量（基于数值测试）方法进行探索。我们的定性评估表明，只有部分 BLiMP 测试才是有意义的指南。我们通过提出 Bigram Hypothesis——即若在训练初期大气统计偏向模型对错误区分具有误导性，则学习过程将表现出错误的 entrenchment——并描述了在合适选择的 BLiMP 类上进行该假设测试的方法。
引用
@article{arxiv.2603.00359,
title = {How Large Language Models Get Stuck: Early structure with persistent errors},
author = {Alokesh Manna and William Snyder and Whitney Tabor},
journal= {arXiv preprint arXiv:2603.00359},
year = {2026}
}