面向有效的事实性主张提取与评估

针对大型语言模型（LLMs）生成的长文本进行事实核查的常见策略是提取可独立验证的简单主张。由于不准确或不完整的主张会损害事实核查结果，确保主张质量至关重要。然而，缺乏标准化的评估框架阻碍了对主张提取方法的评估与比较。为填补这一空白，我们提出了一套用于评估事实核查情境下主张提取的框架，以及应用该框架的自动化、可扩展和可复现的方法，包括测量覆盖率和去语境化的新方法。我们还提出了 Claimify，一种基于 LLM 的主张提取方法，并证明其在我们的评估框架下优于现有方法。Claimify 的一个关键特性是其处理歧义的能力，并且仅在正确理解源文本的置信度较高时才提取主张。