面向抽取式摘要的方面感知评估

抽取式摘要常用度量指标聚焦于 token 级别的词汇重叠。在本文中，我们提出一种方面感知（facet-aware）评估设置，以更好地评估抽取摘要中的信息覆盖度。具体而言，我们将参考摘要中的每个句子视为一个\textit{方面}（facet），识别文档中表达各侧面语义的句子作为该方面的\textit{支撑句}（support sentences），并通过比较抽取句子的索引与参考摘要中所有方面的支撑句子索引，自动评估抽取式摘要方法。为便于这一新评估设置，我们构建了 CNN/Daily Mail 数据集的抽取版本，并进行了详尽的定量研究，由此表明方面感知评估比 ROUGE 表现出更好的人类判断相关性，支持细粒度评估与对比分析，并揭示了最先进摘要方法的有价值见解。数据可在 https://github.com/morningmoni/FAR 获取。