归纳的双路模型

先前关于原位复制的工作表明，归纳头的存在，这些头在复制过程中关注并提升单个token。本文我们发现了一种新的归纳头类型：概念级归纳头，这些头复制整个词汇单元而非单个token。概念归纳头学习了在训练期间关注多token单词末尾的能力，与token级归纳头并行工作，以复制有意义的文本。在我们看来，这些头负责完成语义任务，如词级翻译，而token归纳头对只能逐字完成的任务（如复制无意义的token）至关重要。这两种"路线"是独立运作的：我们表明，消除token归纳头会导致模型在原本会逐字复制的地方进行改写。通过修补概念归纳头的输出，我们发现它们包含语言无关的词表示，这些表示在自然语言翻译中发挥中介作用，表明大语言模型独立于语言或形式地表示抽象词语含义。