双重校准：通过校准知识与推理置信度实现可靠的大语言模型
计算与语言
2026-05-19 v2 人工智能
摘要
大语言模型（LLM）的可靠推理受到其幻觉倾向的挑战。虽然用知识图谱（KG）增强 LLM 可以提高事实准确性，但现有的 KG 增强方法未能量化检索到的证据和 LLM 推理中的认知不确定性。为弥合这一差距，我们引入了 DoublyCal，一个基于新颖的双重校准原则构建的框架。DoublyCal 采用一个轻量级代理模型，首先生成带有校准证据置信度的 KG 证据。然后，这些经过校准的支持证据指导一个黑盒 LLM，产生不仅更准确而且校准良好的最终预测，其置信度分数可追溯到支持证据的不确定性。在知识密集型基准上的实验表明，DoublyCal 显著提高了黑盒 LLM 的准确性和置信度校准，同时保持了较低的令牌成本。
引用
@article{arxiv.2601.11956,
title = {Double-Calibration: Towards Reliable LLMs via Calibrating Knowledge and Reasoning Confidence},
author = {Yuyin Lu and Ziran Liang and Yanghui Rao and Wenqi Fan and Fu Lee Wang and Qing Li},
journal= {arXiv preprint arXiv:2601.11956},
year = {2026}
}
备注
This work is to appear in the Proceedings of the 35th International Joint Conference on Artificial Intelligence (IJCAI 2026)