被忽视的兄弟：变分自编码器的各向同性高斯后验
机器学习
2021-10-15 v1 计算与语言
摘要
深度生成模型已广泛应用于自然语言处理的多个领域，并且人们提出了各种技术来增强它们或解决其训练难题。在本文中，我们提出对变分自编码器（VAE）进行一项简单修改，即使用各向同性高斯后验（IGP），从而更好地利用其潜在表示空间。该模型避免了VAE与表示空间中非活跃维度相关的次优行为。我们提供了理论分析，并在各种数据集和任务上给出了实证证据，表明IGP在多个定量和定性方面带来了持续改进，从下游任务性能和样本效率到鲁棒性。此外，我们深入分析了IGP所鼓励的表示特性，并表明其增益也能泛化到图像领域。
引用
@article{arxiv.2110.07383,
title = {The Neglected Sibling: Isotropic Gaussian Posterior for VAE},
author = {Lan Zhang and Wray Buntine and Ehsan Shareghi},
journal= {arXiv preprint arXiv:2110.07383},
year = {2021}
}