关于先验学习的自省VAE
机器学习
2025-06-05 v3
摘要
变分自编码器（VAE）是无监督学习和数据生成的流行框架。已提出众多方法，聚焦于改进VAE，其中包括融入对抗目标和整合先验学习机制。就前者而言，一个典型实例是最近引入的自省VAE（Introspective VAE）旨在确保对不切实的样本分配低似然。在本研究中，我们关注的是唯一两个自省VAE家族成员之一——Soft-IntroVAE（S-IntroVAE），另一个是原始IntroVAE。我们选择S-IntroVAE是因为其最先进的地位以及其训练稳定性。特别是，我们研究了将多模态和可训练先验纳入该S-IntroVAE所涉及的含义。也就是说，我们将先验视为第三个玩家，表明当其与解码器协同训练时，构成有效的先验学习方式，这与vanilla S-IntroVAE共享纳什均衡。此外，基于对S-IntroVAE中修改版最优ELBO的公式，我们发展出以理论为动机的正则化措施，即（i）自适应方差裁剪以稳定学习先验时的训练，以及（ii）责任正则化以防止先验模式Inactive的形成。最后，我们在2D密度估计基准以及由(F)-MNIST和CIFAR-10数据集组成的图像生成设置中进行一系列针对性实验，展示了先验学习在S-IntroVAE中的生成和表示学习效果。
引用
@article{arxiv.2408.13805,
title = {Prior Learning in Introspective VAEs},
author = {Ioannis Athanasiadis and Fredrik Lindsten and Michael Felsberg},
journal= {arXiv preprint arXiv:2408.13805},
year = {2025}
}