Dial BeInfo for Faithfulness：通过行为微调提升信息检索对话的事实性
计算与语言
2024-03-05 v2
摘要
事实性是信息检索对话的关键要求：系统应对用户查询作出响应，使回复有意义且与提供给系统的知识相一致。然而，大多数现代大语言模型存在幻觉问题，即生成不被知识源支持或与知识源相矛盾的回复。为缓解该问题并提升信息检索对话系统的忠实度，我们提出 BeInfo，一种简单而有效的方法，应用行为微调来辅助信息检索对话。基于三个标准数据集，我们表明经 BeInfo 微调的模型在 BeInfo 微调期间所见的数据集与领域，以及以零样本方式应用于未见领域时，都对知识源显著更忠实。此外，我们表明具有 30 亿参数（如 Flan-T5）并经 BeInfo 微调的模型在真实“生产”对话数据上表现强劲，并在有限量的此类真实领域内对话上微调时优于 GPT4。
引用
@article{arxiv.2311.09800,
title = {$\textit{Dial BeInfo for Faithfulness}$: Improving Factuality of Information-Seeking Dialogue via Behavioural Fine-Tuning},
author = {Evgeniia Razumovskaia and Ivan Vulić and Pavle Marković and Tomasz Cichy and Qian Zheng and Tsung-Hsien Wen and Paweł Budzianowski},
journal= {arXiv preprint arXiv:2311.09800},
year = {2024}
}