面向大规模语言模型预训练的数据可塑性与事实追踪

训练数据归因（TDA）方法旨在将模型输出归因于特定的训练样本，将这些方法应用于大型语言模型（LLM）输出后，可能显著促进模型的透明度和数据 curated。然而，迄今为止，尚不容易将这些方法应用于大型语言模型预训练的完整规模。本文细化了现有的基于梯度的方法，以在规模上有效工作，从而允许我们从拥有超过1600亿标记的预训练语料库中检索80亿参数语言模型的影响示例，无需进行抽样或预过滤。本方法结合了多项技术，包括优化器状态校正、任务特定的 Hessian 近似以及归一化编码，我们发现这些技术对于规模性能至关重要。在针对事实追踪任务的定量评估中，我们的方法在识别影响模型预测的示例方面表现最佳，但经典且模型不可知的检索方法如 BM25 在查找明确包含相关事实的段落方面仍表现更好。这些结果表明，事实归因与因果影响之间存在偏离。随着模型规模和训练标记数的增加，我们发现影响更 closely 对齐事实归因。最后，我们检查了本方法识别为有影响力的不同类型示例，发现虽然许多示例直接涉及特定事实，但还有其他示例通过强化关系类型、常见实体和名称的先验知识来支持相同的输出。我们发布了我们的提示集和模型输出，以及一个用于探索80亿参数 LLM 进行事实预测、常识推理、算术和开放式生成的有影响力示例的基于网页的可视化工具。