通过解码器网络上的逆 Lipschitz 约束控制后验坍缩
机器学习
2024-02-06 v2 机器学习
摘要
变分自编码器（VAEs）是过去数十年取得巨大成功的深度生成模型之一。然而在实践中，它们饱受称为后验坍缩的问题困扰，即当编码器与先验重合或坍缩、不考虑输入数据潜在结构的信息时发生。本工作中，我们将逆 Lipschitz 神经网络引入解码器，并基于此架构提供一种新方法，能以简单清晰的方式控制广泛 VAE 模型的后验坍缩程度，并附有具体理论保证。我们也通过若干数值实验阐明方法的有效性。
引用
@article{arxiv.2304.12770,
title = {Controlling Posterior Collapse by an Inverse Lipschitz Constraint on the Decoder Network},
author = {Yuri Kinoshita and Kenta Oono and Kenji Fukumizu and Yuichi Yoshida and Shin-ichi Maeda},
journal= {arXiv preprint arXiv:2304.12770},
year = {2024}
}
备注
accepted to ICML 2023, some notations adjusted from the submitted version