变分自编码器问题性全局最优的刻画与规避
机器学习
2022-08-25 v1 机器学习
摘要
变分自编码器(VAEs)是由两部分组成的深度生成潜变量模型：一个通过变换潜空间上的分布 p(z) 来捕捉数据分布 p(x) 的生成模型，以及一个推断每个数据点可能潜码的推断模型(Kingma and Welling, 2013)。近期工作表明，传统训练方法往往产生违背建模期望的解：(1) 学到的生成模型捕捉了观测数据分布，但却忽略潜码，导致码不能表示数据(如 van den Oord et al. (2017); Kim et al. (2018))；(2) 所学潜码的聚合与先验 p(z) 不匹配。这种不匹配意味着所学生成模型将无法用来自 p(z) 的样本生成逼真数据(如 Makhzani et al. (2015); Tomczak and Welling (2017))。在本文中，我们证明这两个问题都源于 VAE 训练目标的全局最优往往对应于不理想的解。我们的分析基于两点观察：(1) 生成模型不可辨识——存在许多同等好地解释数据的生成模型，各自具有不同(且可能不期望的)性质；(2) VAE 目标中的偏置——VAE 目标可能偏好那些数据解释很差但具有易于近似的后验的生成模型。我们提出一种新颖推断方法 LiBI，缓解我们分析中发现的问题。在合成数据集上，我们展示当传统方法难以做到时，LiBI 能学到捕捉数据分布的生成模型以及更好满足建模假设的推断模型。
引用
@article{arxiv.2003.07756,
title = {Characterizing and Avoiding Problematic Global Optima of Variational Autoencoders},
author = {Yaniv Yacoby and Weiwei Pan and Finale Doshi-Velez},
journal= {arXiv preprint arXiv:2003.07756},
year = {2022}
}
备注
Accepted at the Proceedings of The 2nd Symposium on Advances in Approximate Bayesian Inference 2019