语言模型路径-星形任务之谜

最近引入的路径-星形任务是一个最小任务，旨在例证语言模型能力的局限性。它涉及一个路径-星形图，其中多个分支从一个起始节点辐射出去，并且每个节点都是唯一的。给定起始节点和指定结束一个分支的目标节点，任务是生成包含该目标节点的分支。这对人类来说很简单，但对语言模型来说却出奇地困难，其表现并未优于随机基线。作者假设这是由于教师强制和下一个词元预测范式的缺陷所致。我们证明，在替代设置中使用教师强制可以学习该任务，并且问题部分源于表示。我们引入了一种正则化方法，使用同一图但目标节点不同的结构化样本，从而改进了各种模型类型的结果。我们提供了RASP证明，表明该任务在理论上是可解的。最后，我们找到了编码器-仅模型能够一致解决该任务的设置。