基于对比学习的无监督无参考摘要质量评价
计算与语言
2020-10-06 v1
摘要
文档摘要系统的评价一直是影响摘要任务成功的关键因素。先前的方法（如 ROUGE）主要考虑被评摘要的信息量，并且需要为每个测试摘要提供人工生成的参考摘要。在本文中，我们提出通过无监督对比学习在无参考摘要的情况下评估摘要质量。具体而言，我们设计了一个基于 BERT 的涵盖语言质量与语义信息量的新指标。为学习该指标，对于每个摘要，我们针对摘要质量的不同方面构造不同类型的负样本，并使用排序损失训练我们的模型。在 Newsroom 和 CNN/Daily Mail 上的实验表明，我们的新评价方法即使在没有参考摘要的情况下也优于其他指标。此外，我们展示了我们的方法具有通用性且可跨数据集迁移。
引用
@article{arxiv.2010.01781,
title = {Unsupervised Reference-Free Summary Quality Evaluation via Contrastive Learning},
author = {Hanlu Wu and Tengfei Ma and Lingfei Wu and Tariro Manyumwa and Shouling Ji},
journal= {arXiv preprint arXiv:2010.01781},
year = {2020}
}
备注
Long Paper in EMNLP 2020