学习细粒度 grounding 引用的大型语言模型
计算与语言
2024-08-09 v1 人工智能
摘要
尽管大型语言模型（LLMs）在 information-seeking 任务中表现突出，但仍在幻觉问题上困扰。增强式 LLMs 通过 inline 引用增强生成文本，显示出缓解幻觉并提高可验证性的潜力。然而，当前方法因依赖于 in-context learning 而存在引用质量的 suboptimal。此外，仅引用粗糙的 document identifiers 对于用户执行细粒度验证提出了挑战。本文引入了 FRONT，一个训练框架，旨在教导 LLMs 生成细粒度 grounding 引用。通过以细粒度支持引语为 grounding 依据，这些引语指导生成 grounded and consistent 的回答，不仅提高了引用质量，也促进了细粒度验证。在 ALCE benchmark 上的实验表明，FRONT 在生成优质 grounding 回答和高度支持的引用方面具有效能。以 LLaMA-2-7B 为例，该框架在所有数据集上均显著优于所有基线方法，平均在引用质量上提升 14.21%，甚至超过了 ChatGPT。
引用
@article{arxiv.2408.04568,
title = {Learning Fine-Grained Grounded Citations for Attributed Large Language Models},
author = {Lei Huang and Xiaocheng Feng and Weitao Ma and Yuxuan Gu and Weihong Zhong and Xiachong Feng and Weijiang Yu and Weihua Peng and Duyu Tang and Dandan Tu and Bing Qin},
journal= {arXiv preprint arXiv:2408.04568},
year = {2024}
}
备注
Accepted by ACL 2024 Findings