基于语法感知变分自编码器的文本建模
计算与语言
2019-08-28 v1
摘要
句法信息包含关于文本句子如何排列的结构和规则。将句法融入文本建模方法有可能同时有益于表示学习与生成。变分自编码器（VAEs）是深度生成模型，提供了一种在潜空间中以概率方式描述观测数据的方法。当应用于文本数据时，潜表示通常是无结构的。我们提出语法感知变分自编码器（SAVAEs），其在潜维度中专门划出一个称为句法潜变量（syntactic latent）的子空间来表示句子的句法结构。SAVAEs被训练为从文本输入或已解析的句法结果中推断句法潜变量，并利用推断出的潜变量重建原始文本。实验表明，SAVAEs能够在四个不同数据集上实现更低的重建损失。此外，它们能够生成具有修改后的目标句法的样本。
引用
@article{arxiv.1908.09964,
title = {Text Modeling with Syntax-Aware Variational Autoencoders},
author = {Yijun Xiao and William Yang Wang},
journal= {arXiv preprint arXiv:1908.09964},
year = {2019}
}