基于中心性加权相关性与自参照冗余的无训练无参考摘要评测指标

近年来，基于参考和监督式的摘要评测指标已被广泛探索。然而，收集人工标注的参考摘要和评分成本高且耗时。为避免这些局限，我们提出了一种无训练且无参考的摘要评测指标。我们的指标由一个中心性加权相关性分数和一个自参照冗余分数组成。相关性分数在由源文档构建的伪参考与给定摘要之间计算，其中伪参考内容按句子中心性加权以提供重要性引导。除基于 $F_1$ 的相关性分数外，我们还设计了基于 $F_\beta$ 的变体，更关注召回分数。至于摘要的冗余分数，我们计算摘要自身与自身的自掩码相似度分数以评估摘要中的冗余信息。最后，我们结合相关性与冗余分数得到给定摘要的最终评测分数。大量实验表明，我们的方法在多文档和单文档摘要评测上均能显著优于现有方法。