带噪 LLM 预言机的全局一致性检查基础
人工智能
2026-01-21 v1
摘要
确保自然语言事实集合的全局一致性对于事实核查、摘要和知识库构建等任务至关重要。虽然大语言模型 (LLM) 可以评估小规模事实子集的一致性，但它们的判断带有噪声，且成对检查不足以保证全局连贯性。我们将此问题形式化，并表明在最坏情况下，验证全局一致性需要指数级多次预言机查询。为了使该任务切实可行，我们提出了一种自适应分治算法，用于识别事实的最小不一致子集 (MUSes)，并可选地通过命中集计算最小修复。我们的方法具有低阶多项式查询复杂度。在合成和真实 LLM 预言机上的实验表明，我们的方法能高效检测和定位不一致性，为使用基于 LLM 评估器的语言一致性验证提供了一个可扩展的框架。
关键词
引用
@article{arxiv.2601.13600,
title = {Foundations of Global Consistency Checking with Noisy LLM Oracles},
author = {Paul He and Elke Kirschbaum and Shiva Kasiviswanathan},
journal= {arXiv preprint arXiv:2601.13600},
year = {2026}
}
备注
Under Review