虚构合成数据通过先决条件学习提升 LLM 的事实性
计算与语言
2024-10-28 v1
摘要
近期研究识别出 LLM 幻觉的一个加剧因素是预训练和微调之间知识的不一致，即不熟悉的微调数据会误导 LLM 生成符合情境但错误的输出。本文提出一种新颖的微调策略，称为 Prereq-Tune，以解决这种知识不一致并减少幻觉。根本上，Prereq-Tune 分离了技能和知识的学习，使模型仅学习任务技能而不受知识不一致的影响。为实现这一点，Prereq-Tune 引入额外的先决条件学习阶段，以学习 SFT 所需的必要知识，使后续的 SFT 仅聚焦于任务技能。Prereq-Tune 还可与虚构合成数据结合，以增强 LLM 输出对内部知识的 grounding。实验表明，Prereq-Tune 在提升 LLM 在短答题和长篇生成任务中的事实性方面优于现有基线。这也为 LLM 的知识控制生成开辟了新的可能性。我们的代码已公开于 https://github.com/UCSB-NLP-Chang/Prereq_tune.git。
引用
@article{arxiv.2410.19290,
title = {Fictitious Synthetic Data Can Improve LLM Factuality via Prerequisite Learning},
author = {Yujian Liu and Shiyu Chang and Tommi Jaakkola and Yang Zhang},
journal= {arXiv preprint arXiv:2410.19290},
year = {2024}
}