ChatGPT 为何难以提供真实答案？
计算与语言
2023-12-05 v3 人工智能
摘要
大型语言模型（如 ChatGPT）近期的进展已显示出影响人类生活各方面的显著潜力。然而，ChatGPT 在为用户问题提供可靠且准确的答案方面仍面临挑战。为更好地理解该模型在提供真实答案方面的特定弱点，我们针对开放域问答展开了深入探究。具体而言，我们对 ChatGPT 的失败进行了详细考察，将其归类为：理解、事实性、具体性与推理。我们进一步将事实性确定为最主要的失败因素，并识别出与事实性相关的两项关键能力：知识记忆与知识召回。通过聚焦于事实性的实验，我们提出了若干潜在的增强策略。我们的发现表明，为模型补充细粒度外部知识及知识召回提示，可提升模型回答问题时的事实性。
引用
@article{arxiv.2304.10513,
title = {Why Does ChatGPT Fall Short in Providing Truthful Answers?},
author = {Shen Zheng and Jie Huang and Kevin Chen-Chuan Chang},
journal= {arXiv preprint arXiv:2304.10513},
year = {2023}
}