语言模型中上下文 N 元语法的训练动态
机器学习
2023-11-03 v1 人工智能
计算与语言
摘要
先前工作已表明语言模型中存在上下文神经元，包括一个在德语文本上激活的神经元。我们展示该神经元存在于一个更宽泛的上下文 n-gram 回路中：我们发现深层神经元能识别并续写德语文本中常见的 n-gram，但仅在德语神经元激活时才激活。我们考察了该回路在训练过程中的形成，发现它是我们称之为二阶回路的一个实例。具体而言，构成的 n-gram 回路与以德语神经元为终点的德语检测回路在训练早期以独立功能形成——德语检测回路部分通过对德语 unigram 统计建模形成，n-gram 则通过提升恰当的补全形成。仅在两个回路均已形成后，它们才拟合为一个二阶回路。与先前工作提出的假设相反，我们发现上下文 n-gram 回路是逐渐形成的，而非突发的相变。我们进一步展示了一系列异常观察，例如许多任务中同时发生的相变与学习率预热重合，以及证据表明许多上下文神经元在训练早期同时形成但后来被遗忘。
引用
@article{arxiv.2311.00863,
title = {Training Dynamics of Contextual N-Grams in Language Models},
author = {Lucia Quirke and Lovis Heindrich and Wes Gurnee and Neel Nanda},
journal= {arXiv preprint arXiv:2311.00863},
year = {2023}
}
备注
Accepted workshop paper at ATTRIB 2023 (@ NeurIPS)