面向人工摘要评估的轻量级金字塔众包方法

进行人工评估被认为是摘要评估方法中不可或缺的环节。传统上，金字塔协议通过将系统摘要与参考摘要进行详尽比对，被视为非常可靠且能提供客观分数。然而，由于 Pyramid 方法成本高昂且所需专业性强，研究人员转而采用成本更低且不够全面的人工评估方法，如响应性和成对比较，这些方法可通过众包实现。我们重新审视了 Pyramid 方法，提出了一种可众包的、基于采样的轻量级版本。我们分析了所提方法与原始基于专家的 Pyramid 评估相比的性能，结果表明其相对于常见的响应性方法具有更高的相关性。我们发布了众包的摘要内容单元以及所有众包脚本，以供未来评估使用。