重要性加权自编码器
机器学习
2016-11-08 v4 机器学习
摘要
变分自编码器（VAE; Kingma, Welling (2014)）是最近提出的一种生成模型，将自上而下的生成网络与自下而上的识别网络配对，后者近似后验推断。它通常对后验推断做出强假设，例如后验分布近似为阶乘分布，且其参数可通过从观测值进行的非线性回归来近似。正如我们通过实验所证明的，VAE 目标可能导致过度简化的表示，从而无法利用网络的全部建模能力。我们提出了重要性加权自编码器（IWAE），一种与 VAE 架构相同的生成模型，但使用由重要性加权导出的严格更紧的对数似然下界。在 IWAE 中，识别网络使用多个样本来近似后验，使其在建模不符合 VAE 建模假设的复杂后验时具有更大的灵活性。我们通过实验证明，IWAE 比 VAE 学习到更丰富的潜在空间表示，从而在密度估计基准上获得改善的测试对数似然。
引用
@article{arxiv.1509.00519,
title = {Importance Weighted Autoencoders},
author = {Yuri Burda and Roger Grosse and Ruslan Salakhutdinov},
journal= {arXiv preprint arXiv:1509.00519},
year = {2016}
}
备注
Submitted to ICLR 2015