通过可信引文透明化 LLM 的内部与外部知识利用
计算与语言
2025-04-22 v1
摘要
尽管通过检索增强生成和引文生成可缓解大型语言模型（LLM）的幻觉问题, 但如何利用其内部知识仍不透明, 其生成答案的可信度也值得怀疑. 本文引入 Context-Prior Augmented Citation Generation 任务, 要求模型在考虑外部和内部知识的同时, 提供可信赖的参考文献, 并设计 5 个评估指标, 聚焦于三个方面: 答案有用性、引文忠实性和可信度. 我们引入 RAEL 作为任务方法, 并设计 INTRALIGN, 一种集成常规数据生成和对齐算法的方法. 我们的实验结果表明, 本方法在其他基线方法的跨情景性能方面更优. 我们进一步的实验进一步揭示, 检索质量、问题类型和模型知识对引文生成的可信度有显著影响.
引用
@article{arxiv.2504.14856,
title = {Transparentize the Internal and External Knowledge Utilization in LLMs with Trustworthy Citation},
author = {Jiajun Shen and Tong Zhou and Yubo Chen and Delai Qiu and Shengping Liu and Kang Liu and Jun Zhao},
journal= {arXiv preprint arXiv:2504.14856},
year = {2025}
}
备注
19 pages, 14 figures