ChatGPT在答案归因时产生幻觉
人工智能
2023-09-19 v1 数字图书馆
信息检索
摘要
ChatGPT能否为其答案提供证据？它建议的证据是否真实存在并确实支持其答案？我们使用一组特定领域基于知识的问答集探究这些问题，具体提示ChatGPT以外部来源参考文献形式给出答案与支持证据，并考察不同提示对答案与证据的影响。我们发现ChatGPT约半数情况（50.6%次数）给出正确或部分正确答案，但其建议的参考文献仅14%真实存在。我们进一步对生成参考文献提供洞察，揭示ChatGPT生成文献的共性特征，并表明即便模型所给文献确实存在，该文献也常不支持ChatGPT归之于它的主张。我们的发现十分重要，因为（1）其首次系统分析ChatGPT答案中生成的参考文献；（2）其表明模型在生成正确答案时或利用高质量信息，却无法归属真实证据以支持答案。提示、原始结果文件与人工分析均已公开。
引用
@article{arxiv.2309.09401,
title = {ChatGPT Hallucinates when Attributing Answers},
author = {Guido Zuccon and Bevan Koopman and Razia Shaik},
journal= {arXiv preprint arXiv:2309.09401},
year = {2023}
}