变分自编码器与非线性 ICA：一个统一框架
机器学习
2020-12-22 v4 机器学习
摘要
变分自编码器的框架使我们能够高效地学习深度潜变量模型，使得模型在观测变量上的边际分布拟合数据。通常，我们有兴趣更进一步，希望近似观测与潜变量上的真实联合分布，包括潜变量上的真实先验与后验分布。众所周知，由于模型的不可辨识性，这通常是不可行的。我们通过证明对于一大类深度潜变量模型，观测与潜变量上真实联合分布的辨识实际上可精确到非常简单的变换，从而解决了这一问题，由此实现了一种原则性强且有力的解耦形式。我们的结果要求潜变量上有一个以额外观测变量（如类别标签或几乎所有其他观测）为条件的因子化先验分布。我们建立在非线性 ICA 的最新进展之上，将其推广到带有噪声、欠完备或离散观测的情形，并整合进极大似然框架中。该结果也平凡地包含可辨识的基于流的生成模型作为特例。
引用
@article{arxiv.1907.04809,
title = {Variational Autoencoders and Nonlinear ICA: A Unifying Framework},
author = {Ilyes Khemakhem and Diederik P. Kingma and Ricardo Pio Monti and Aapo Hyvärinen},
journal= {arXiv preprint arXiv:1907.04809},
year = {2020}
}
备注
Accepted for publication at AISTATS 2020. This is a slightly updated version of the published manuscript; see Corrigendum at the end of the paper