自监督与可控的多文档观点摘要
计算与语言
2020-05-04 v2 机器学习
摘要
我们通过自监督与控制来解决无监督生成式用户评论集合摘要的问题。我们提出了一种自监督设定,将单篇文档视为一组相似文档的目标摘要。该设定仅依赖标准对数似然损失,使训练比先前方法更简单。我们通过使用控制码来解决幻觉问题,以引导生成更连贯且相关的摘要。最后,我们扩展了Transformer架构以允许多篇评论作为输入。我们在两个数据集上针对基于图的方法和近期神经生成式无监督模型进行的基准测试表明,我们提出的方法生成的摘要在质量和相关性上更优。这一点在我们明确关注生成摘要忠实性的人工评估中得到确认。我们还提供了消融研究,显示了控制在抑制幻觉方面的重要性,并实现了摘要与输入评论间高度的情感与主题对齐。
引用
@article{arxiv.2004.14754,
title = {Self-Supervised and Controlled Multi-Document Opinion Summarization},
author = {Hady Elsahar and Maximin Coavoux and Matthias Gallé and Jos Rozen},
journal= {arXiv preprint arXiv:2004.14754},
year = {2020}
}
备注
18 pages including 5 pages appendix