主题仍在旋转？评估叙事理解中的主观性

确定论点是否忠实于源文档是许多领域中的重要问题。该任务通常被处理为判断论点是否受源文档支持或不受支持的二元判断。在许多情况下，论点是否受支持可能存在模糊性。例如，它可能依赖于从给定证据进行推理，不同人基于对这些推理的不同理解，可能会合理地将论点解释为要么受支持，要么不受支持。将模糊论点强加二元标签会降低评估的可靠性。本文重新构建该任务，以管理事实判断中涉及的主观性。我们引入 LLM 生成的摘要编辑作为提供事实判断细粒度评估的方法：摘要需要被编辑多少才能变得无歧义？论点被重写以及其变化程度可作为一种自动评估指标——歧义重写指标（Ambiguity Rewrite Metric, ARM），其反馈信号远远丰富于对忠实性的二元判断。我们聚焦于叙事摘要领域，因为该领域尤其充满了歧义和主观解释。我们表明 ARM 在论点忠实性上的注释人一致性提升了 21%，表明主观性已被降低。