通过 RDF 知识图谱与句子相似度验证 ChatGPT 事实
数据库
2023-11-20 v2 人工智能
摘要
由于 ChatGPT 提供的详细回答缺乏依据，且即便对于知名人物、事件和地点也会给出错误事实，本文提出一种新颖流水线，将 ChatGPT 的回答检索为 RDF，并尝试使用一个或更多 RDF 知识图谱（KGs）来验证 ChatGPT 事实。为此，我们利用 DBpedia 与 LODsyndesis（一个包含来自多领域 400 个 RDF 知识图谱的 20 亿三元组的聚合知识图谱）以及短句嵌入，并引入一种算法，返回最相关的三元组及其出处与置信度分数。这使得 ChatGPT 回答的验证及其借助依据与出处的 enrichment 成为可能。为评估该服务（此类服务总体而言），我们构建了一个包含 2,000 条 ChatGPT 事实的评测基准；具体为 1,000 条著名希腊人物事实、500 条热门希腊地点事实，以及 500 条与希腊相关事件的事实。这些事实经人工标注（约 73% 的 ChatGPT 事实正确，27% 事实错误）。结果令人鼓舞；以整体基准为例，我们成功验证了 85.3% 的正确 ChatGPT 事实，并为 58% 的错误 ChatGPT 事实找到了正确答案。
引用
@article{arxiv.2311.04524,
title = {Validating ChatGPT Facts through RDF Knowledge Graphs and Sentence Similarity},
author = {Michalis Mountantonakis and Yannis Tzitzikas},
journal= {arXiv preprint arXiv:2311.04524},
year = {2023}
}