微调LLM知更多、幻觉更少：基于Wikidata少样本序列到序列语义解析
计算与语言
2023-11-07 v2
摘要
尽管大语言模型（LLMs）能正确回答许多问题，它们也可能产生幻觉并给出错误答案。Wikidata拥有超过120亿条事实，可用于 grounding LLMs以提升其事实性。本文提出WikiWebQuestions，一个面向Wikidata的高质量问答基准。它从Freebase的WebQuestions移植而来，由带有SPARQL标注的真实数据组成。本文提出一种用于Wikidata的少样本序列到序列语义解析器。我们修改SPARQL以使用唯一的域名和属性名而非其ID。我们训练解析器使用实体链接器的结果或查询中的提及。我们将少样本训练数据加入用于微调Alpaca的数据中来微调LLaMA。实验结果证明了该方法的有效性，在WikiWebQuestions的验证集和测试集上分别建立了76%和65%答案准确率的强基线。通过将我们的语义解析器与GPT-3配对，我们将可验证结果与合格的GPT-3猜测结合，为验证集中96%的问题提供有用答案。我们还展示我们的方法在QALD-7 Wikidata数据集上以F1分数高出最先进方法3.6%。
引用
@article{arxiv.2305.14202,
title = {Fine-tuned LLMs Know More, Hallucinate Less with Few-Shot Sequence-to-Sequence Semantic Parsing over Wikidata},
author = {Silei Xu and Shicheng Liu and Theo Culhane and Elizaveta Pertseva and Meng-Hsi Wu and Sina J. Semnani and Monica S. Lam},
journal= {arXiv preprint arXiv:2305.14202},
year = {2023}
}
备注
EMNLP 2023 Main