基于隐词袋模型的复述生成
计算与语言
2020-01-08 v1 机器学习
摘要
复述生成是自然语言处理中一个长期存在的重要问题。此外，深度生成模型的最新进展在文本生成的离散潜变量方面展示了有前景的结果。受具有离散潜变量结构的变分自编码器的启发，在这项工作中，我们提出了一种用于复述生成的隐词袋（BOW）模型。我们通过目标句子的 BOW 来锚定离散潜变量的语义。我们使用该潜变量构建一个完全可微分的内容规划与表层实现模型。具体而言，我们使用源词预测其邻居，并用 softmax 混合对目标 BOW 建模。我们使用 Gumbel top-k 重参数化从预测的 BOW 分布中执行可微分子集采样。我们检索采样得到的词嵌入，并用它们来增强解码器并引导其生成搜索空间。我们的隐 BOW 模型不仅增强了解码器，还展现出清晰的可解释性。我们针对 (i) 词邻居的无监督学习 (ii) 逐步生成过程展示了模型的可解释性。大量实验证明了该模型透明且有效的生成过程。
引用
@article{arxiv.2001.01941,
title = {Paraphrase Generation with Latent Bag of Words},
author = {Yao Fu and Yansong Feng and John P. Cunningham},
journal= {arXiv preprint arXiv:2001.01941},
year = {2020}
}
备注
NeurIPS 19 camera ready