答案在哪里？调查语言模型知识提取中的位置偏差

大型语言模型需要通过用新文档进行微调来保持更新或适应新领域。关键在于以可通过查询提示提取的方式记忆最新信息。然而，大型语言模型 (LLMs) 遭受一种称为困惑度诅咒的现象；尽管在微调过程中最小化了文档困惑度，LLMs 仍难以通过提示句提取信息。在这种新的知识获取与提取中，我们发现了一个非常有趣的事实：LLMs 可以准确回答关于第一句的问题，但难以提取用于微调的文档中间或末尾描述的信息。我们的研究表明，自回归训练导致了这一问题；每个 token 的生成依赖于所有先前的 token，这阻碍了模型通过问题提示从训练文档中回忆信息。为了进行深入的研究，我们发布了合成数据集和真实数据集，使得能够针对文档中对应答案的位置评估问答 (QA) 性能。我们的调查显示，即使是大型模型也遭受困惑度诅咒，但去噪自回归损失等正则化方法可以增强从不同位置的信息提取。这些发现将是 (i) 改进 LLMs 知识提取的关键，以及 (ii) 讨论在使 LLMs 适应新领域时检索增强生成 (RAG) 与微调之间权衡的新要素。