大语言模型的零资源幻觉预防
计算与语言
2023-10-10 v3
摘要
大语言模型（LLMs）在各领域的普遍使用引起了对“幻觉”问题的关注，即 LLM 生成事实不准确或无依据信息的情况。现有的语言助手幻觉检测技术依赖于复杂的模糊、特定的基于自由语言的思维链（CoT）技术或存在可解释性问题的基于参数的方法。此外，那些在生成后识别幻觉的方法无法预防其发生，并因指令格式和模型风格的影响而性能不稳定。在本文中，我们引入一种新颖的检测前自评估技术，称为 SELF-FAMILIARITY，其侧重于评估模型对输入指令中存在的概念的熟悉度，并在遇到不熟悉概念时抑制响应生成。该方法模拟人类不对不熟悉话题作答的能力，从而减少幻觉。我们在四种不同的大语言模型上验证 SELF-FAMILIARITY，展现出相较于现有方法持续更优的性能。我们的发现提出了向 LLM 助手幻觉缓解的预防性策略的重要转变，有望在可靠性、适用性和可解释性上带来改进。
引用
@article{arxiv.2309.02654,
title = {Zero-Resource Hallucination Prevention for Large Language Models},
author = {Junyu Luo and Cao Xiao and Fenglong Ma},
journal= {arXiv preprint arXiv:2309.02654},
year = {2023}
}