在无黄金标准答案的情况下测量并减少大语言模型幻觉
计算与语言
2024-06-10 v2 人工智能
机器学习
摘要
大语言模型 (LLM) 幻觉，即生成事实错误但看似可信的答案，目前是威胁大语言模型可信度和可靠性的主要问题。解决这一复杂问题的第一步是对其进行测量。然而，现有的幻觉指标需要一个包含黄金标准答案（即由人类编写的“最佳”或“正确”答案）的基准数据集。这种要求使得幻觉测量成本高昂且容易出现人为错误。在本工作中，我们提出了通过加权大语言模型进行事实性评估 (FEWL)，这是一种专为缺乏黄金标准答案场景设计的创新幻觉指标。FEWL 利用现成大语言模型的答案作为黄金标准答案的代理。关键挑战在于如何有效地量化参考大语言模型的专业性。我们展示了 FEWL 具有一定的理论保证，并通过实证证明其比单纯使用参考大语言模型能提供更准确的幻觉测量。我们还展示了如何通过上下文学习和监督微调利用 FEWL 来减少幻觉。在 Truthful-QA、CHALE 和 HaluEval 数据集上的大量实验结果证明了 FEWL 的有效性。
引用
@article{arxiv.2402.10412,
title = {Measuring and Reducing LLM Hallucination without Gold-Standard Answers},
author = {Jiaheng Wei and Yuanshun Yao and Jean-Francois Ton and Hongyi Guo and Andrew Estornell and Yang Liu},
journal= {arXiv preprint arXiv:2402.10412},
year = {2024}
}
备注
Paper Under Review