用于文本生成的句法注入变分自编码器
机器学习
2019-06-11 v1 计算与语言
机器学习
摘要
我们提出一种句法注入变分自编码器（SIVAE），它将句子与其句法树相整合，以改善生成句子的语法。与现有的基于 VAE 的文本生成模型不同，SIVAE 包含分别用于句子和句法树的两个独立潜空间。证据下界目标被相应地重新设计，通过优化一个适配两个编码器与两个解码器的联合分布。SIVAE 与长短期记忆架构协同工作，以同时生成句子和句法树。提出了两个版本的 SIVAE：一个通过条件先验网络捕捉潜变量之间的依赖关系，另一个将潜变量视为相互独立，从而可以执行句法可控的句子生成。实验结果表明，SIVAE 在重构与针对性句法评估上均具有生成优势。最后，我们展示了所提模型可用于给定不同句法树模板的无监督释义。
引用
@article{arxiv.1906.02181,
title = {Syntax-Infused Variational Autoencoder for Text Generation},
author = {Xinyuan Zhang and Yi Yang and Siyang Yuan and Dinghan Shen and Lawrence Carin},
journal= {arXiv preprint arXiv:1906.02181},
year = {2019}
}
备注
Accepted by ACL 2019