PrefixNLI：在事实不一致出现时立即检测
计算与语言
2025-11-04 v1 人工智能
摘要
自然语言推理（NLI）模型已被用于多种方式以提高LLM输出的事实性。这通常通过应用NLI模型来判断模型输出是否从假定证据中蕴含，从而触发一些纠正措施，例如推理时的波束重排序或训练期间的RL奖励。虽然NLI模型被训练用于检测完整句子上的事实不一致，但在常见的自回归生成架构中，决策是在解码过程中针对每个演变的文本前缀做出的。针对这一设定，我们将蕴含检测任务推广到适用于任意文本前缀，并建议其在提高生成忠实性方面的效用。为此任务提供合适的评估和训练数据集，我们训练了MiniTruePrefixes，一个新颖的专用模型，它能更好地检测文本前缀上的事实不一致，在前缀级蕴含上比可比的基线NLI模型高出5-14个F1点。我们进一步证明，将MiniTruePrefixes集成到受控解码框架中，显著提高了抽象摘要的事实一致性。在MiniTruePrefixes的引导下，LLaMA-3.2-3B-Instruct在仅使用一半内存的情况下，达到了同模型家族8B模型的忠实度和运行时间。
引用
@article{arxiv.2511.01359,
title = {PrefixNLI: Detecting Factual Inconsistencies as Soon as They Arise},
author = {Sapir Harary and Eran Hirsch and Aviv Slobodkin and David Wan and Mohit Bansal and Ido Dagan},
journal= {arXiv preprint arXiv:2511.01359},
year = {2025}
}
备注
9 pages + appendix. Code, datasets, and models are available at https://github.com/sapirharary/PrefixNLI