粗到细高亮法：降低大语言模型中的知识幻觉
计算与语言
2024-10-22 v1 人工智能
摘要
生成合乎逻辑但不正确的事实信息的现象，常称为幻觉（hallucination），已引起广泛关注。检索增强型语言模型（RALM）——通过补充最新知识来增强模型——作为一种减少幻觉的有前景的方法日益流行。然而，现有的 RALM 在检索 lengthy 上下文时可能反而加剧幻觉。为此，我们提出一种名为 COFT 的新方法，即 **C**oarse-to-**O**ver-**F**ine **T**h Highlighting（粗到细高亮法），以聚焦于不同粒度级别的关键文本，从而避免在 lengthy 上下文中迷失。具体而言，COFT 包含三个组件：回忆器（recaller）、评分器（scorer）和选择器（selector）。首先，回忆器应用知识图谱从给定上下文中提取潜在的关键实体。其次，评分器通过计算每个实体的上下文权重来衡量其重要性。最后，选择器采用动态阈值算法选择高上下文权重实体，并以粗到细的方式高亮其对应的段落、句子或单词。广泛的实验表明，COFT 在知识幻觉基准测试中的效果尤为出色，在 F1 分数指标上实现超过 30% 的提升。此外，COFT 也在各种长文本任务中展现出显著的灵活性，例如阅读理解和问答。
引用
@article{arxiv.2410.15116,
title = {Coarse-to-Fine Highlighting: Reducing Knowledge Hallucination in Large Language Models},
author = {Qitan Lv and Jie Wang and Hanzhu Chen and Bin Li and Yongdong Zhang and Feng Wu},
journal= {arXiv preprint arXiv:2410.15116},
year = {2024}
}