GumBolt：将 Gumbel 技巧扩展至玻尔兹曼机先验
机器学习
2019-03-04 v2 人工智能
机器学习
摘要
玻尔兹曼机（BMs）作为变分自编码器（VAEs）中强大先验的极具吸引力的候选者，能够捕捉离散变量上非平凡且多模态的分布。然而，离散单元的非可微性阻碍了重参数化技巧的使用，而该技巧对于低噪声反向传播至关重要。Gumbel 技巧通过松弛变量与分布以一致的方式解决了这一问题，但它与 BM 先验不兼容。在此，我们提出 GumBolt，一种将 Gumbel 技巧扩展至 VAEs 中 BM 先验的模型。GumBolt 显著优于近期提出的带 BM 先验的方法且更为简单，并以可观的幅度超越它们。在仅含离散潜变量的模型范围内，它在置换不变 MNIST 与 OMNIGLOT 数据集上达到了最先进的性能。此外，通过在训练中允许对对数似然进行多样本（重要性加权）估计，性能可进一步提升，而这是先前模型所无法实现的。
引用
@article{arxiv.1805.07349,
title = {GumBolt: Extending Gumbel trick to Boltzmann priors},
author = {Amir H. Khoshaman and Mohammad H. Amin},
journal= {arXiv preprint arXiv:1805.07349},
year = {2019}
}
备注
10 pages, 2 Figures, 2 Tables