Ingest-And-Ground：通过 RAG 消除持续预训练大语言模型中的幻觉
计算与语言
2024-10-15 v2 密码学与安全
摘要
本文提出了新的方法， potentially improve privacy process efficiency with LLM and RAG。为减少幻觉，我们持续预训练包含隐私专用知识库的基础大语言模型，然后通过语义 RAG 层进行增强。我们的评估表明，该方法在处理与隐私相关查询方面显著提升模型性能（相较于开箱即用的 LLM 可提升至最高两倍），通过以事实信息为依据校准响应，降低了不准确性。
引用
@article{arxiv.2410.02825,
title = {Ingest-And-Ground: Dispelling Hallucinations from Continually-Pretrained LLMs with RAG},
author = {Chenhao Fang and Derek Larson and Shitong Zhu and Sophie Zeng and Wendy Summer and Yanqing Peng and Yuriy Hulovatyy and Rajeev Rao and Gabriel Forgues and Arya Pudota and Alex Goncalves and Hervé Robert},
journal= {arXiv preprint arXiv:2410.02825},
year = {2024}
}