哈密顿变分自编码器
机器学习
2018-11-26 v2 机器学习
摘要
变分自编码器（VAEs）已成为潜变量模型中进行推断与学习的非常流行的技术，因为它们让我们能够利用神经网络的强大表征能力，获得潜变量后验的灵活近似以及紧致的证据下界（ELBOs）。结合随机变分推断，这提供了一种可扩展到大型数据集的方法论。然而，为使该方法论在实践中高效，有必要获得 ELBO 及其关于感兴趣参数的低方差无偏估计量。尽管先前已建议采用哈密顿蒙特卡洛（HMC）等马尔可夫链蒙特卡洛（MCMC）技术来实现这一点 [23, 26]，但所提出的方法需要指定对性能有很大影响的反向核。此外，大多数 MCMC 核得到的 ELBO 无偏估计量通常不适用于重参数化技巧。我们在此展示了如何在此设定下最优地选择反向核，并且通过构建于哈密顿重要性采样（HIS）[17] 之上，获得了一种利用重参数化技巧提供 ELBO 及其梯度的低方差无偏估计量的方案。这使我们能够开发一种哈密顿变分自编码器（HVAE）。该方法可被重新解释为目标引导的归一化流 [20]，在我们的上下文中，其每次迭代仅需对采样似然的梯度进行少量评估以及平凡的雅可比计算。
引用
@article{arxiv.1805.11328,
title = {Hamiltonian Variational Auto-Encoder},
author = {Anthony L. Caterini and Arnaud Doucet and Dino Sejdinovic},
journal= {arXiv preprint arXiv:1805.11328},
year = {2018}
}
备注
Accepted as a poster in the proceedings of the 32nd Conference on Neural Information Processing Systems (NeurIPS)