面向韩文摘要的参考与文档感知语义评估方法
计算与语言
2020-11-03 v2 机器学习
机器学习
摘要
文本摘要是指从源文档生成更短文本并保留重要信息的过程。许多现有的文本摘要工作通常使用面向召回的摘要评估替补指标（ROUGE）分数进行评估。然而，由于 ROUGE 分数是基于 n-gram 重叠计算的，它们无法反映生成摘要与参考摘要之间的语义对应关系。由于韩语是一种黏着语，将多种语素组合成一个词来表达多重含义，ROUGE 并不适用于韩文摘要。在本文中，我们提出了反映参考摘要与原始文档语义的评估指标——参考与文档感知语义分数（RDASS）。随后我们提出了一种提高该指标与人类判断相关性的方法。评估结果表明，我们的评估指标与人类判断的相关性显著高于 ROUGE 分数。
引用
@article{arxiv.2005.03510,
title = {Reference and Document Aware Semantic Evaluation Methods for Korean Language Summarization},
author = {Dongyub Lee and Myeongcheol Shin and Taesun Whang and Seungwoo Cho and Byeongil Ko and Daniel Lee and Eunggyun Kim and Jaechoon Jo},
journal= {arXiv preprint arXiv:2005.03510},
year = {2020}
}
备注
COLING 2020