检测与纠正商业大语言模型和深度研究代理中的引用幻觉

大型语言模型和深度研究代理提供引用URL以支持其主张，但这些引用的可靠性尚未得到系统测量。我们针对引用URL有效性研究了六个研究问题，使用10个模型和代理在DRBench（53,090个URL）上以及3个模型在ExpertQA（跨32个学术领域的168,021个URL）上进行实验。我们发现3–13%的引用URL是幻觉——它们在Wayback Machine中无任何记录，很可能从未存在过——而5–18%整体上无法解析。深度研究代理每条查询生成的引用远多于搜索增强型大语言模型，但幻觉URL的发生率也更高。领域效应显著：无法解析率从商业领域的5.4%到神学领域的11.4%，各模型之间的差异更大。对失败的分解揭示了一些模型伪造了所有无法解析的URL，而另一些模型则表现出大量链接衰减，表明存在真实的检索。作为解决方案，我们发布了urlhealth，一个基于Wayback Machine进行URL存活检测和失效URL与幻觉URL分类的开源工具。在代理自纠正实验中，配备urlhealth的模型将无法解析的引用URL减少了6–79倍至1%以下，尽管效果取决于模型的工具使用能力。该工具和所有数据均公开发布。我们的特征描述、失败分类法和开源工具确立了在实践中引用URL有效性既可大规模测量也可纠正。