ANAH：大型语言模型中幻觉的分析性注释

降低大型语言模型（LLM）“幻觉”问题对于其广泛应用至关重要。对幻觉进行全面且细粒度的测量是解决此问题的第一关键步骤，但在学术界尚未得到充分探索。因此，我们提出了 ANAH，这是一个双语数据集，提供了对生成式问答中幻觉的 $\textbf{AN}$alytical $\textbf{A}$nnotation。我们数据集中的每个答案句子都经过严格的注释，包括检索参考片段、判断幻觉类型以及纠正幻觉内容。ANAH 包含约 1.2 万个句子级别的注释，覆盖约 4300 个 LLM 响应，涉及超过 700 个主题，由人类在环管道构建而成。得益于幻觉注释的细粒度，我们可以定量确认 LLM 的幻觉在答案中逐渐积累，并可使用 ANAH 来训练和评估幻觉注释器。我们对生成式和判别式注释器进行了广泛实验，表明尽管当前开源 LLM 在细粒度幻觉注释方面存在困难，但使用 ANAH 训练的生成式注释器能够超越所有开源 LLM 和 GPT-3.5，获得与 GPT-4 相当的性能，并在 unseen 问题上表现出更好的泛化能力。