分解诅咒：你预测的哪些词元是反转诅咒及其他问题的基础

当今最好的语言模型仍然难以克服幻觉：事实不正确的生成，这阻碍了它们可靠地检索训练期间看到的信息的能力。反转诅咒（模型在训练中遇到的不同顺序下无法回忆信息）体现了信息检索中的这一问题。我们将反转诅咒重新定义为分解诅咒——模型在不同分解下无法学习相同联合分布的失败。通过一系列控制实验，包括我们引入的WikiReversal（一个紧密模拟知识密集型微调任务的设置），我们发现分解诅咒是流行大型语言模型中使用的下一词预测目标的内在失败。此外，我们证明可靠的信息检索无法通过规模、反转词元甚至简单的双向注意力训练来解决。因此，除非模型已经看到了正确的词元序列，否则各种针对专门数据的微调方法必然会在下游任务上产生混合结果。在五个不同复杂程度的任务中，我们的结果揭示了一条有希望的前进道路：分解无关的目标可以显著缓解反转诅咒，并暗示了改进的知识存储和规划能力。