基于冗余感知多参考的抽取式摘要增益化评估
计算与语言
2024-07-30 v2
摘要
ROUGE 指标常用于评估抽取式摘要任务，但被批评缺乏语义感知且忽视抽取式摘要器的排序质量。先前研究引入了名为 Sem-nCG 的基于增益的自动化指标来解决这些问题，因其兼具排序与语义感知能力。然而，它未考虑模型摘要中存在的冗余量，且目前不支持使用多个参考摘要进行评估。模型摘要须平衡重要性与多样性，但寻找能同时捕捉这两方面的指标颇具挑战。本文提出一种冗余感知的 Sem-nCG 指标，并展示修订后的 Sem-nCG 指标如何用于对模型摘要在多个参考下进行评估，这也是以往研究所缺失的。实验结果表明，在单参考与多参考场景下，修订后的 Sem-nCG 指标相较于先前 Sem-nCG 指标及传统 ROUGE 与 BERTScore 指标，与人类判断具有更强的相关性。
引用
@article{arxiv.2308.02270,
title = {Redundancy Aware Multi-Reference Based Gainwise Evaluation of Extractive Summarization},
author = {Mousumi Akter and Santu Karmaker},
journal= {arXiv preprint arXiv:2308.02270},
year = {2024}
}
备注
Accepted to KNOVENS 2024