变分自编码框架的去噪准则
机器学习
2016-01-05 v2
摘要
去噪自编码器（DAE）被训练来重建其干净输入，并在输入层注入噪声；而变分自编码器（VAE）被训练时在随机隐藏层注入噪声，并带有一个鼓励此种噪声注入的正则化项。本文中，我们表明在输入和随机隐藏层中都注入噪声可能是有利的，并提出了一种修正的变分下界作为此设定下改进的目标函数。当输入被腐蚀时，标准VAE下界涉及对编码器条件分布关于输入噪声的边缘化，这使得训练准则难以处理。相反，我们提出一种修正的训练准则，其在输入被腐蚀时对应于一个可处理的界。在实验上，我们发现所提出的去噪变分自编码器（DVAE）在MNIST和Frey Face数据集上比VAE和重要度加权自编码器产生更好的平均对数似然。
引用
@article{arxiv.1511.06406,
title = {Denoising Criterion for Variational Auto-Encoding Framework},
author = {Daniel Jiwoong Im and Sungjin Ahn and Roland Memisevic and Yoshua Bengio},
journal= {arXiv preprint arXiv:1511.06406},
year = {2016}
}
备注
ICLR conference submission