揭示模仿学习：探究数据虚假性对大语言模型的影响

近期许多研究致力于通过模仿学习，利用 ChatGPT 和 GPT-4 等最先进的专有模型生成的合成指令数据对开源语言模型进行再训练。然而，合成数据的内在性质决定了其不可避免地包含噪声数据，导致大量充斥着错误回答和有缺陷推理的低质量数据。尽管我们直观上了解噪声数据的潜在危害，但缺乏对其影响的定量理解。为此，本文通过指令微调探究了噪声程度及其对语言模型影响之间的相关性。我们首先引入了 Falsity-Controllable (FACO) 数据集，该数据集包含带有对应推理的正确答案对以及错误对，用于手动控制数据集的虚假比率。通过大量实验，我们发现了数据集事实性与指令微调之间相关性的多个有趣现象：具体而言，我们验证了指令的虚假性与各项基准测试得分高度相关。此外，当 LLM 在错误指令上训练时，即使它们知道用户请求的正确答案，也会学会撒谎并生成虚假的不忠实回答。另外，我们注意到，一旦语言模型在受噪声污染的数据集上训练过，恢复其原始性能是可能的，但无法达到完全的性能。