级联去噪自编码器作为深度有向生成模型
机器学习
2017-01-31 v2
摘要
近期工作（Bengio等人，2013）已展示去噪自编码器（DAE）如何作为密度估计器成为生成模型。然而，在实践中，该框架在MCMC采样过程中存在混合问题，且无直接方法估计测试对数似然。我们考虑一种以随机恒等映射（简单损坏过程）作为推断模型、以DAE作为生成模型的有向模型。通过级联这些模型，我们提出级联去噪自编码器（CDAE），其可在损坏数据的概率分布随损坏程度增加趋近于可处理先验分布的假设下，从可处理先验分布生成数据分布的样本。本工作试图回答两个问题。一方面，深度有向模型能否在不进行难解后验推断且不对推断与生成模型中极深神经网络进行困难优化的情况下成功训练？当近期成功的有向模型如VAE（Kingma & Welling, 2014）在如真实图像等复杂数据集上训练时，这些是不可避免的。另一方面，DAE能否从重度损坏样本（可视为远离数据流形的可处理先验分布）中获得数据分布的干净样本？即所谓的全局去噪方案。我们的结果对这些问题给出了肯定回答，且本工作可为非常复杂数据集的生成模型提供相当简单的框架。
引用
@article{arxiv.1511.07118,
title = {Cascading Denoising Auto-Encoder as a Deep Directed Generative Model},
author = {Dong-Hyun Lee},
journal= {arXiv preprint arXiv:1511.07118},
year = {2017}
}
备注
not completed