DVAE++：具有重叠变换的离散变分自编码器
机器学习
2018-05-29 v2 机器学习
摘要
离散潜变量模型的训练仍然具有挑战性，因为梯度信息难以通过离散单元传递。我们提出一类基于两种重叠分布混合的新平滑变换，并证明所提变换可用于训练具有有向或无向先验的二值潜变量模型。我们推导了一个新的变分界以高效训练玻尔兹曼机先验。利用该界，我们发展了 DVAE++，一种具有全局离散先验与卷积连续变量层级的生成模型。在若干基准上的实验表明，重叠变换优于其他近期离散潜变量的连续松弛方法，包括 Gumbel-Softmax（Maddison 等，2016；Jang 等，2016）与离散变分自编码器（Rolfe 2016）。
引用
@article{arxiv.1802.04920,
title = {DVAE++: Discrete Variational Autoencoders with Overlapping Transformations},
author = {Arash Vahdat and William G. Macready and Zhengbing Bian and Amir Khoshaman and Evgeny Andriyash},
journal= {arXiv preprint arXiv:1802.04920},
year = {2018}
}
备注
Published as a conference paper at International Conference on Machine Learning (ICML), 2018