基于问答的事实性框架在错误定位中的缺陷

尽管摘要生成近期取得进展，模型常生成含事实错误的摘要。已提出众多检测这些错误的方法，其中最流行的是基于问答（QA）的事实性度量。这些方法在预测摘要级事实性方面表现良好，并具有在摘要内定位错误的潜力，但后一能力在以往研究中未被系统评估。在本文中，我们进行首个此类分析，并发现与我们的预期相反，基于 QA 的框架无法正确识别生成摘要中的错误跨度，且被平凡的精确匹配基线超越。我们的分析揭示了此类糟糕定位的一个主要原因：QG 模块生成的问题常从非事实摘要继承错误，进而传播至下游模块。此外，即便人工参与的问题生成也无法轻易抵消这些问题。我们的实验确凿表明，使用 QA 框架进行定位存在根本性问题，无法仅通过更强的 QA 和 QG 模型修复。