超越事实：评估大型语言模型中的意图幻觉

当大型语言模型（LLM）面对包含多个条件的复杂查询时，倾向于产生只部分满足查询的响应，忽略某些条件。因此，我们引入了意图幻觉的概念。在这种现象中，LLM要么忽略（未能解决查询的某些部分），要么误解（对响应虚构的查询部分进行响应），导致意图幻觉生成。为系统评估意图幻觉，我们引入FAITHQA——一个包含20,068个问题的新型意图幻觉基准，涵盖查询-only和检索增强生成（RAG） setups，并涉及不同主题和难度。FAITHQA是第一个超越事实验证的幻觉基准，旨在识别意图幻觉的根本原因。通过在FAITHQA上评估各种LLM，我们发现：（1）意图幻觉是当前最先进模型即使面对此问题也常见的现象；（2）该现象源于LLM对查询的遗漏或误解。为促进未来研究，我们引入一种自动LLM生成评估指标——CONSTRAINT SCORE，用于检测意图幻觉。人类评估结果表明，CONSTRAINT SCORE在意图幻觉检测方面比基线方法更接近人类水平。