了解何时提问 —— 连接大语言模型与数据
计算与语言
2024-09-24 v1 信息检索
摘要
大型语言模型（LLMs）在回答涉及数值和统计数据的查询或其他时事信息时，容易生成事实错误的信息。本文提出一种增强LLMs准确性的方法，通过将其与数据常识库（Data Commons）集成，该库是一个来自联合国（UN）、疾病控制与预防中心（CDC）和全球统计局等可信组织的公开统计数据的开源存储库。我们探讨了两种主要方法：检索交错生成（RIG），即训练LLMs生成自然语言查询以检索数据常识库中的数据；以及检索增强生成（RAG），即从数据常识库中检索相关数据表格并用于增强LLMs的提示。我们在多样化的查询集上对这些方法进行评估，证明了它们在提高LLMs输出事实准确性方面的有效性。我们的工作代表了构建更可信、更可靠的LLMs的早期步骤，这些LLMs以可验证的统计数据为依托，能够进行复杂的事实推理。
引用
@article{arxiv.2409.13741,
title = {Knowing When to Ask -- Bridging Large Language Models and Data},
author = {Prashanth Radhakrishnan and Jennifer Chen and Bo Xu and Prem Ramaswami and Hannah Pho and Adriana Olmos and James Manyika and R. V. Guha},
journal= {arXiv preprint arXiv:2409.13741},
year = {2024}
}
备注
39 pages - 25 page paper, 14 page Appendix, 7 figures, 9 tables