面向多样化序列生成的混合内容选择方法
计算与语言
2019-09-05 v1
摘要
生成多样化序列在许多自然语言处理应用中十分重要，例如问题生成或摘要任务，这些任务中源序列与目标序列之间呈现出语义上的一对多关系。我们提出了一种方法，使用一种通用的即插即用模块（称为 SELECTOR）将多样化与生成显式分离，该模块包裹并引导现有的编码器-解码器模型。多样化阶段使用专家混合在源序列上采样不同的二值掩码以实现多样化内容选择。生成阶段使用标准的编码器-解码器模型，以源序列中每个被选出的内容作为输入。由于离散采样的不可微性以及二值掩码缺乏真实标签，我们利用真实掩码的代理并采用随机硬 EM 进行训练。在问题生成（SQuAD）和抽象摘要（CNN-DM）中，我们的方法在准确性、多样性和训练效率上均表现出显著提升，包括在这两个数据集上达到最先进的 top-1 准确率、top-5 准确率提升 6%，以及比最先进模型训练快 3.7 倍。我们的代码已公开于 https://github.com/clovaai/FocusSeq2Seq。
引用
@article{arxiv.1909.01953,
title = {Mixture Content Selection for Diverse Sequence Generation},
author = {Jaemin Cho and Minjoon Seo and Hannaneh Hajishirzi},
journal= {arXiv preprint arXiv:1909.01953},
year = {2019}
}
备注
EMNLP-IJCNLP 2019; Code is available at https://github.com/clovaai/FocusSeq2Seq