基于细粒度跨模型一致性的零知识大语言模型幻觉检测与缓解
计算与语言
2025-11-04 v2 人工智能
机器学习
摘要
大语言模型（LLMs）在各类任务中展现出令人瞩目的能力，但仍易产生幻觉——生成看似合理但包含事实性错误的内容。我们提出 Finch-Zk，一个黑盒框架，利用细粒度跨模型一致性来检测和缓解大语言模型输出中的幻觉，无需外部知识源。Finch-Zk 引入两项关键创新：1) 一种跨模型一致性检查策略，通过比较不同模型对语义等价提示生成的响应，揭示细粒度的不准确性；2) 一种有针对性的缓解技术，对存在问题的片段进行精确修正，同时保留准确内容。在 FELM 数据集上的实验表明，与现有方法相比，Finch-Zk 将幻觉检测的 F1 分数提高了 6-39%。在缓解方面，当应用于 Llama 4 Maverick 和 Claude 4 Sonnet 等最先进模型时，Finch-Zk 在 GPQA-diamond 数据集上的答案准确率实现了高达 9 个绝对百分点的提升。在多个数据集上的广泛评估表明，Finch-Zk 为提升生产级大语言模型系统的事实可靠性提供了一种实用、可部署的保障措施。
引用
@article{arxiv.2508.14314,
title = {Zero-knowledge LLM hallucination detection and mitigation through fine-grained cross-model consistency},
author = {Aman Goel and Daniel Schwartz and Yanjun Qi},
journal= {arXiv preprint arXiv:2508.14314},
year = {2025}
}