关于变分自编码器在文本生成中的潜空间空洞
机器学习
2021-10-08 v1 人工智能
计算与语言
摘要
在本文中，我们首次对变分自编码器（VAEs）潜空间中的不连续性（亦称空洞）进行了聚焦研究，该现象已被证明对模型容量有不利影响。在考察潜空间空洞时，现有工作完全围绕编码器网络展开，且仅探索空洞的存在性。我们通过提出一种高效的基于树的以解码器为中心（TDC）的潜空间空洞识别算法来应对这些局限，并聚焦于文本领域。与过去研究相反，我们的方法关注解码器网络，因为解码器对模型输出质量有直接影响。此外，我们首次提供了对潜空间空洞现象的深入实证分析，考察了若干重要方面，如空洞如何影响 VAE 算法在文本生成上的性能，以及空洞在潜空间中如何分布。
引用
@article{arxiv.2110.03318,
title = {On the Latent Holes of VAEs for Text Generation},
author = {Ruizhe Li and Xutan Peng and Chenghua Lin},
journal= {arXiv preprint arXiv:2110.03318},
year = {2021}
}