潜空间中的协作：变分自编码器中增加混合成分的好处
机器学习
2023-07-20 v2 机器学习
摘要
在本文中，我们展示了混合成分在联合适应以最大化ELBO时如何协作。我们建立在多重与自适应重要性采样文献的近期进展之上。随后我们使用独立的编码器网络对混合成分建模，并从经验上表明ELBO作为混合成分数量的函数是单调非减的。这些结果在MNIST、FashionMNIST和CIFAR-10数据集上的一系列不同VAE架构中均成立。在本工作中，我们还证明了增加混合成分数量可改善VAE在图像和单细胞数据集上的潜表示能力。这种协作行为表明，使用混合VAE应被视为获得更灵活变分近似的标准方法。最后，混合VAE在此首次与归一化流、层次化模型和/或VampPrior在一项广泛的消融研究中进行了比较与结合。我们的多个混合VAE在MNIST和FashionMNIST数据集上取得了VAE架构的state-of-the-art对数似然结果。实验可使用我们提供的代码复现：https://github.com/lagergren-lab/mixturevaes。
引用
@article{arxiv.2209.15514,
title = {Cooperation in the Latent Space: The Benefits of Adding Mixture Components in Variational Autoencoders},
author = {Oskar Kviman and Ricky Molén and Alexandra Hotti and Semih Kurt and Víctor Elvira and Jens Lagergren},
journal= {arXiv preprint arXiv:2209.15514},
year = {2023}
}
备注
Updated to the accepted ICML23 version. I.e. there is a new title (previously Learning with MISELBO: The Mixture Cookbook), more experiments, and clarifying text