答案联合！面向强化摘要模型的无监督度量指标
计算与语言
2019-09-05 v1 人工智能
信息检索
摘要
基于强化学习（RL）的生成式摘要方法近来被提出以克服经典的似然最大化。RL 能够考虑复杂、可能不可微的度量，这些度量从全局上评估生成输出的质量与相关性。ROUGE 作为最常用的摘要度量，已知存在偏向词汇相似性的偏差，并且对生成摘要的流畅性与可读性的考量欠佳。因此我们探索并提出了替代性评估指标：所报告的人工评估分析表明，基于问答的所提指标优于 ROUGE——并且具有无需参考摘要的额外特性。在这些指标上训练基于 RL 的模型，相较于使用 ROUGE 作为奖励的现有方法，取得了提升（在人工或自动度量上均如此）。
引用
@article{arxiv.1909.01610,
title = {Answers Unite! Unsupervised Metrics for Reinforced Summarization Models},
author = {Thomas Scialom and Sylvain Lamprier and Benjamin Piwowarski and Jacopo Staiano},
journal= {arXiv preprint arXiv:1909.01610},
year = {2019}
}
备注
Accepted at EMNLP 2019