Catch Me if You Search: 上下文 Web 搜索结果如何影响幻觉检测

尽管我们越来越依赖大型语言模型 (LLM) 完成各种任务，但这些模型已知会产生不准确的内容或“幻觉”，可能带来灾难性后果。最近将 Web 搜索结果集成到 LLM 中，引发了一个问题：人们是否利用这些搜索结果来验证生成内容，从而准确检测幻觉？一项在线实验 (N=560) 探讨了提供静态搜索结果（即由 LLM 提供的固定搜索结果）或动态搜索结果（即参与者自行进行搜索）是否影响用户对 LLM 生成内容（即真实内容、轻微幻觉、严重幻觉）的感知准确性、自信水平，以及对 LLM 的整体评估，从而与对照组（即无搜索结果）进行比较。结果显示，静态组和动态组的参与者（与对照组相比）会将幻觉内容评估为不够准确，并且更消极地看待 LLM。然而，动态组的参与者对真实内容的准确性评估更高，并在自身评估方面展现出更大的整体自信，优于静态搜索组和对照组。我们提出了将 Web 搜索功能集成到 LLM 中以实际场景中实际意义的实用建议。