�位函数：大语言模型如何跟踪多个实体

语言模型必须将实体绑定到它们所拥有的属性，并维持多个此类绑定关系。我们研究了多个实体如何在标记位置之间表示，以及单个标记是否可以携带多个实体的绑定信息。我们引入一种多�位探针方法，将单个标记的残差流激活解耦，以恢复关于当前描述实体以及前一时刻描述实体的信息。这两种信息编码在独立且 largely 正交的“当前实体”和“前实体”�位中。我们分析了这些�位的功能角色，发现它们发挥着不同的作用。在当前实体�位的配合下，前实体�位支持关系推理，如实体级别归纳（“故事中Alice之后谁？”）和相邻实体之间的冲突检测。然而，只有当前实体�位用于显式的事实检索问题（“故事中有人高吗？”“高实体的名字是什么？”），尽管这些答案也可从前实体�位中线性解码。与此一致，开放权重模型在处理迫使单个标记上发生两个主语-动词-宾语绑定的语法问题（例如，“Alice准备而Bob消费食物。”）时表现接近随机。有趣的是，最近的前沿模型可以正确解析这一点，表明它们可能已发展出更复杂的绑定策略。总体而言，我们的结果揭示了激活中可用信息与模型实际使用的信息之间的差距，并表明当前/前实体�位结构是实现需要同时持有两个视角的行为（如讽刺和欺骗）的自然基质。