基于上下文相似性点的连贯性与一致性

事实一致性是摘要评价的重要维度之一，尤其当摘要生成变得更加流畅和连贯时。最近提出的专门用于事实一致性的 ESTIME 度量，在一致性和流畅性上均与人类专家评分高度相关，但其原理上仅限于评价具有较高词典重叠度的文本-摘要对。这对当前的摘要生成风格而言不是问题，但可能成为未来摘要系统或针对文本评估任意声明的障碍。在本工作中，我们推广了该方法，并使该度量的一个变体适用于任意文本-摘要对。由于 ESTIME 使用上下文相似性点，它提供了从不同 BERT 层提取信息有用性的见解。我们观察到，除最底部的几层外，几乎在所有层中均存在有用信息。对于一致性和流畅性——聚焦于局部文本细节的性质——最有用的层接近顶层（但不在顶层）；对于连贯性和相关性，我们发现了更复杂且有趣的图景。