连续伯努利分布：修正变分自编码器中的一个普遍错误
机器学习
2020-01-01 v5 机器学习
摘要
变分自编码器（VAE）已迅速成为机器学习中的核心工具，适用于广泛的数据类型和潜变量模型。迄今为止，最具代表性的论文和核心软件库均采取的最常见第一步，是使用深度网络参数化伯努利似然来对 MNIST 数据建模。这一做法包含一个看似且常被搁置为小不便之处的问题：像素数据为 [0,1] 值，而非伯努利似然所支持的 {0,1}。在此我们表明，这远非可忽略的琐事或麻烦，该错误对 VAE 具有定性和定量上的重要意义。我们引入并完整刻画了一种新的 [0,1] 支撑、单参数分布：连续伯努利分布，它修补了 VAE 中这一普遍存在的缺陷。该分布并非吹毛求疵；它在一系列指标和数据集上产生了有意义的性能提升，包括更清晰的图像样本，并暗示了一类更广的高性能 VAE。
引用
@article{arxiv.1907.06845,
title = {The continuous Bernoulli: fixing a pervasive error in variational autoencoders},
author = {Gabriel Loaiza-Ganem and John P. Cunningham},
journal= {arXiv preprint arXiv:1907.06845},
year = {2020}
}
备注
Accepted at NeurIPS 2019