用于文本生成与分类的符号-向量耦合潜空间能量模型
机器学习
2021-08-27 v1
摘要
我们提出一种用于文本生成和分类的潜空间能量先验模型。该模型基于一个生成器网络，该网络根据连续潜向量生成文本序列。先验模型的能量项将连续潜向量与符号 one-hot 向量耦合，使得可以根据观测样本从连续潜向量推断出离散类别。这种潜空间耦合自然地使得信息瓶颈正则化得以引入，以鼓励连续潜向量从观测样本中提取对潜在类别具有信息量的信息。在我们的学习方法中，符号-向量耦合、生成器网络和推断网络被联合学习。我们的模型可以在未提供类别标签的无监督设置下学习，也可以在为部分训练样本提供类别标签的半监督设置下学习。实验表明，所提模型学习到了结构良好且富有意义的潜空间，该空间（1）引导生成器生成具有高质量、多样性和可解释性的文本，并且（2）有效地对文本进行分类。
引用
@article{arxiv.2108.11556,
title = {Latent Space Energy-Based Model of Symbol-Vector Coupling for Text Generation and Classification},
author = {Bo Pang and Ying Nian Wu},
journal= {arXiv preprint arXiv:2108.11556},
year = {2021}
}
备注
8 pages