论无监督下文本可控表示的变分学习
计算与语言
2020-08-10 v4 机器学习
摘要
变分自编码器(VAE)能够在特定数据集上学习自然图像的流形，这一点可以通过在连续潜在空间中进行有意义的插值或外推来证明。然而，对于文本等离散数据，尚不清楚无监督学习能否发现允许可控操作的类似潜在空间。在本工作中，我们发现，在文本上训练的序列 VAE 在对潜在编码进行操作后无法正确解码，因为修改后的编码通常落在聚合后验潜在空间的空洞或空白区域中，而解码网络在这些区域无法泛化。作为对该解释的验证以及对问题的修复，我们提出将后验均值约束到一个学习到的概率单纯形上，并在此单纯形内进行操作。我们提出的方法缓解了潜在空洞问题，并首次成功实现了文本可控表示的无监督学习。在实验上，我们的方法在文本风格迁移任务上优于无监督基线和强监督方法，并且与现有方法相比，能够对文本生成执行更灵活的细粒度控制。
引用
@article{arxiv.1905.11975,
title = {On Variational Learning of Controllable Representations for Text without Supervision},
author = {Peng Xu and Jackie Chi Kit Cheung and Yanshuai Cao},
journal= {arXiv preprint arXiv:1905.11975},
year = {2020}
}
备注
ICML 2020 Camera Ready. Previous title: Unsupervised Controllable Text Generation with Global Variation Discovery and Disentanglement