重复神经元：语言模型如何产生重复？

本文引入了重复神经元，被视为文本生成任务中负责重复问题的技能神经元。这些神经元在重复持续过程中逐渐被激活得更强烈，表明它们将重复视为一种复制前一上下文的任务，类似于 in-context learning。我们通过比较最近预训练语言模型生成文本在重复发生前后的激活值来识别这些重复神经元。我们分析了三个英语和一个日语预训练语言模型中的重复神经元，并在它们之间观察到类似的模式。