一种计算ROUGE分数的语义驱动方法
计算与语言
2017-10-23 v1
摘要
ROUGE是文本摘要最早且最广泛使用的评估指标之一。然而，其评估仅依赖于候选摘要与参考摘要之间的表层相似性。因此，ROUGE无法公平评估包含词汇变化和复述的生成式摘要。我们探索基于词汇资源的模型解决此问题的有效性，将一种基于图的算法引入ROUGE以捕捉候选摘要与参考摘要之间的语义相似性。我们这种语义驱动的方法基于词汇和语义相似性两者计算ROUGE分数。在TAC AESOP数据集上的实验结果表明，利用摘要中所用词语的词汇-语义相似性可显著帮助ROUGE更好地与人类判断相关联。
引用
@article{arxiv.1710.07441,
title = {A Semantically Motivated Approach to Compute ROUGE Scores},
author = {Elaheh ShafieiBavani and Mohammad Ebrahimi and Raymond Wong and Fang Chen},
journal= {arXiv preprint arXiv:1710.07441},
year = {2017}
}
备注
16 pages, 5 figures, 3 tables