ROUGE-K：你的摘要有关键词吗？

关键词，即摘要中与内容相关的词汇，在高效信息传递中起着重要作用，因此在评估过程中判断系统生成的摘要是否包含此类信息词至关重要。然而，现有的极端摘要模型评估指标并未明确关注摘要中的关键词，导致开发者忽视其存在。为解决这一问题，我们提出了一种面向关键词的评估指标，命名为 ROUGE-K，它对“摘要包含关键词的效果如何？”这一问题提供了定量答案。通过这一关键词感知指标的视角，我们惊讶地发现，当前一个强大的基线模型经常在其摘要中遗漏重要信息。我们的分析表明，人类标注者确实认为包含更多关键词的摘要与源文档更相关。这是评估摘要系统时一个重要但此前被忽视的方面。最后，为了增强关键词的包含率，我们提出了四种将词重要性纳入基于 Transformer 的模型的方法，并通过实验表明，这使得能够引导模型包含更多关键词，同时保持整体质量。我们的代码已发布在 https://github.com/sobamchan/rougek。