通过自我改进提升大型语言模型归因能力
计算与语言
2024-10-18 v1 人工智能
摘要
教导大型语言模型(LLM)生成带有证据来源引用的文本，可缓解幻觉现象并增强信息寻求系统的可验证性。然而，提升此能力需要高质量的归因数据，而这类数据成本高昂且耗时。灵感来自最近在无需手动标注的情况下提升LLM能力的自我改进技术，我们提出了START框架，即Self-Taught AttRibuTion，用于迭代改进LLM的归因能力。首先，为防止模型因最初的监督信号不足而停滞，START利用模型自主构建用于预热的合成训练数据。为进一步自我提升模型的归因能力，START迭代利用从采样响应中构建的细粒度偏好监督信号，以鼓励稳健、全面且具备归因性的生成。在覆盖长形式问答和多步推理的三个开放域问答数据集上实验，结果显示在不依赖人工标注和不使用高级模型的情况下，START平均性能提升25.13%。进一步分析表明，START在跨多个来源信息聚合方面表现突出。
引用
@article{arxiv.2410.13298,
title = {Advancing Large Language Model Attribution through Self-Improving},
author = {Lei Huang and Xiaocheng Feng and Weitao Ma and Liang Zhao and Yuchun Fan and Weihong Zhong and Dongliang Xu and Qing Yang and Hongtao Liu and Bing Qin},
journal= {arXiv preprint arXiv:2410.13298},
year = {2024}
}
备注
Accepted by EMNLP 2024 Main Conference