基于协变量的表示学习以防止 iVAE 的后验坍缩
机器学习
2022-10-17 v3 人工智能
机器学习
摘要
最近提出的可辨识变分自编码器(iVAE)框架为学习潜在独立分量(ICs)提供了一种有前景的方法。iVAE 利用辅助协变量构建从协变量到 ICs 再到观测值的可辨识生成结构,其后验网络在给定观测值和协变量时近似 ICs。尽管可辨识性颇具吸引力,我们表明 iVAE 可能存在局部最小解,其中在给定协变量时观测值与近似的 ICs 相互独立——我们将这一现象称为 iVAE 的后验坍缩问题。为克服该问题,我们开发了一种新方法,即协变量知情 iVAE(CI-iVAE),通过在目标函数中考虑编码器与后验分布的混合来构建。如此一来,目标函数防止了后验坍缩,得到的潜在表示包含更多观测值的信息。此外,CI-iVAE 将原始 iVAE 目标函数扩展到更大一类函数中并从中找到最优者,因而具有比原始 iVAE 更紧的证据下界。在模拟数据集、EMNIST、Fashion-MNIST 以及一个大规模脑成像数据集上的实验证明了我们新方法的有效性。
引用
@article{arxiv.2202.04206,
title = {Covariate-informed Representation Learning to Prevent Posterior Collapse of iVAE},
author = {Young-geun Kim and Ying Liu and Xuexin Wei},
journal= {arXiv preprint arXiv:2202.04206},
year = {2022}
}