正则化生成式中文社交媒体文本摘要的输出分布以提升语义一致性
计算与语言
2018-05-11 v1
摘要
生成式文本摘要是一个极具难度的问题，序列到序列模型在提升该任务性能方面已显示出成效。然而，生成的摘要常在语义上与源内容不一致。在此类情况下，模型在生成摘要时会选择与源内容语义无关的词作为最可能输出。该问题可归因于启发式构建的训练数据，其中摘要可能与源内容无关，从而包含语义无关词和虚假的词对应。在本文中，我们提出一种针对序列到序列模型的正则化方法，并利用模型已学到的知识对学习目标进行正则化，以缓解该问题的影响。此外，我们提出一种实用的人工评估方法来解决现有自动评估方法不能恰当评估与源内容语义一致性的问题。实验结果证明了所提方法的有效性，其优于几乎所有现有模型。特别地，所提方法在人工评估方面将语义一致性提升了4%。
引用
@article{arxiv.1805.04033,
title = {Regularizing Output Distribution of Abstractive Chinese Social Media Text Summarization for Improved Semantic Consistency},
author = {Bingzhen Wei and Xuancheng Ren and Xu Sun and Yi Zhang and Xiaoyan Cai and Qi Su},
journal= {arXiv preprint arXiv:1805.04033},
year = {2018}
}