局部化事实不一致：可归因文本生成中的事实错误定位
计算与语言
2025-09-11 v3
摘要
检测模型生成文本中幻觉现象的工作日益增多，既有人工方式也有自动方式，关注不同粒度。然而，大多数现有方法无法精确定位错误。本文引入 QASemConsistency，一种用于可归因文本生成中事实不一致细粒度定位的新形式化方法。灵感来自 Neo-Davidsonian 形式语义学，我们提出将生成文本分解为最小谓词-谓词水平命题，表现为简单问答（QA）对，并评估每个 QA 对是否受信任参考文本支持。由于每个 QA 对对应谓词与谓词之间的单一语义关系，QASemConsistency 能有效定位 unsupported 信息。我们首先通过收集粗粒度一致性错误的人工标注，展示 QASemConsistency 方法论对人类标注的有效性，同时实现显著的标注者间一致性。该基准包含超过 3000 个实例，涵盖可归因文本生成的 various 任务。我们还表明 QASemConsistency 能产生与人类判断良好相关的事实一致性得分。最后，我们实现了几种自动检测局部化事实不一致的方法，包括有监督的蕴涵模型和大语言模型。
引用
@article{arxiv.2410.07473,
title = {Localizing Factual Inconsistencies in Attributable Text Generation},
author = {Arie Cattan and Paul Roit and Shiyue Zhang and David Wan and Roee Aharoni and Idan Szpektor and Mohit Bansal and Ido Dagan},
journal= {arXiv preprint arXiv:2410.07473},
year = {2025}
}
备注
Accepted for publication in Transactions of the Association for Computational Linguistics (TACL), 2025. Authors pre-print