Scifaro

中文

BLANC 对文本摘要人工评分质量的敏感性

计算与语言 2020-10-15 v1

作者: Oleg Vasilyev , Vedant Dharnidharka , Nicholas Egan , Charlene Chambliss , John Bohannon

在 arXiv 上查看 ↗ PDF ↗

摘要

我们探究文档摘要质量估计器 BLANC 对同一批摘要人工评估质量的敏感性。在人工评估中，我们区分五种摘要质量，分别由摘要的流畅性、可理解性、信息量、简洁性及事实正确性来界定。我们给出了 BLANC 的最优参数设置，在此参数下 BLANC 对几乎所有摘要质量的敏感性与人工标注者相当。

关键词

摘要质量估计 BLANC 人工评估文本摘要流畅性信息量事实正确性

引用

@article{arxiv.2010.06716,
  title  = {Sensitivity of BLANC to human-scored qualities of text summaries},
  author = {Oleg Vasilyev and Vedant Dharnidharka and Nicholas Egan and Charlene Chambliss and John Bohannon},
  journal= {arXiv preprint arXiv:2010.06716},
  year   = {2020}
}

备注

6 pages, 3 figures, 2 tables