语言模型、图搜索与监督掺杂：当更多监督变得更少以及如何让更多变得更好

本工作关注路径星任务，这是搜索图中最简示例。图 $G$ 为以节点 $s$ 为中心的星形图，沿 $D$ 条臂辐射开来。语言模型 (LM) 被给定 $G$、$s$ 和目标节点 $t$（位于某条臂的终点），需生成包含 $t$ 的那条臂。该任务的最小性意味着只需做出单一选择：在 $D$ 条臂中选哪一条包含 $t$？仅使用解码器的 LM 在超过 $1/D$ 的概率下难以解决此基础任务，原因是其学习到的捷径吸收了训练监督。我们展示了这种病态现象由过度监督引起，并呈现一系列解决方案，表明该任务可通过解码器的 LM 解决。我们发现，任务的最小性导致其困难，因为它阻止了任务分解。我们的解决方案提供了关于病态及其对通过下采词预测训练的 LM 的影响的见解。