作为生成模型的广义去噪自编码器
机器学习
2013-11-12 v4
摘要
最近的研究表明，在腐蚀噪声为高斯分布、重构误差为平方误差且数据为连续值的情况下，去噪自编码器和收缩自编码器隐式地捕捉了数据生成密度的结构。这导致了利用 Langevin 和 Metropolis-Hastings MCMC 从这种隐式学习的密度函数中进行采样的各种提议。然而，当数据为离散值，或使用其他形式的腐蚀过程和重构误差时，如何将正则化自编码器的训练过程与底层数据生成分布的隐式估计联系起来仍不清楚。另一个问题是，现有的数学论证仅在小腐蚀噪声极限下有效。我们在此提出了一种不同的解决方法，以处理所有这些问题：任意（但足够嘈杂）的腐蚀、任意重构损失（视为对数似然）、同时处理离散和连续值变量，并消除由非无穷小腐蚀噪声（或非无穷小收缩惩罚）引起的偏差。
引用
@article{arxiv.1305.6663,
title = {Generalized Denoising Auto-Encoders as Generative Models},
author = {Yoshua Bengio and Li Yao and Guillaume Alain and Pascal Vincent},
journal= {arXiv preprint arXiv:1305.6663},
year = {2013}
}