LLM 偏好何种外部知识？多跳问答不完美上下文中证据链的特征刻画与探索
计算与语言
2025-05-27 v3 人工智能
摘要
结合外部知识已成为缓解 LLM 过时知识和幻觉的一种有前途的方法。然而，外部知识通常是不完美的，包含大量无关甚至不准确的内容，这干扰了 LLM 对上下文中有用知识的利用。本文旨在刻画偏好外部知识的特征，并在不完美上下文中进行实证研究。受证据链（CoE）启发，我们刻画了 LLM 偏好的知识应保持与问题的相关性以及文本片段之间的相互支持。据此，我们提出了一种 CoE 判别方法，并在显著性、欺骗性和鲁棒性方面对 CoE 和非 CoE 样本进行了比较分析，揭示了 LLM 对符合 CoE 特征的外部知识的偏好。此外，我们选择了三个代表性任务（基于 RAG 的多跳问答、外部知识中毒和中毒防御），以及相应的 SOTA 或主流基线。通过整合 CoE 特征，变体相比原始基线取得了显著改进。
引用
@article{arxiv.2412.12632,
title = {What External Knowledge is Preferred by LLMs? Characterizing and Exploring Chain of Evidence in Imperfect Context for Multi-Hop QA},
author = {Zhiyuan Chang and Mingyang Li and Xiaojun Jia and Junjie Wang and Yuekai Huang and Qing Wang and Yihao Huang and Yang Liu},
journal= {arXiv preprint arXiv:2412.12632},
year = {2025}
}
备注
15 pages, 4 figures