解决变分自编码器中的过度剪枝问题
机器学习
2017-08-08 v2
摘要
变分自编码器 (VAE) 是学习因子化潜变量的有向生成模型。正如 Burda 等人 (2015) 所指出的，这些模型存在因子过度剪枝的问题，即大量随机因子未能学到任何内容而变得不活跃。这会限制其建模能力以及学习多样化和有意义潜表示的能力。在本文中，我们评估了几种解决该问题的方法，并提出了一种更有效的基于模型的方法，称为缩影变分自编码器 (eVAE)。该模型的所谓“缩影”是一组互斥的潜因子，它们竞争以解释数据。这种方法有助于防止单元不活跃，因为每个组都受到解释数据的压力。我们在 MNIST 和 TFD 数据集上通过定性和定量结果比较了这些方法。我们的结果表明，eVAE 能更有效地利用模型容量，且比 VAE 具有更好的泛化能力。
引用
@article{arxiv.1706.03643,
title = {Tackling Over-pruning in Variational Autoencoders},
author = {Serena Yeung and Anitha Kannan and Yann Dauphin and Li Fei-Fei},
journal= {arXiv preprint arXiv:1706.03643},
year = {2017}
}