桥接 ELBO 与 MMD

训练变分自编码器（VAE）等生成模型面临的挑战之一是避免后验坍缩。当生成器容量过大时，容易忽略潜变量编码。在数据集较小且潜变量维度较高时，该问题会加剧。其根源在于 ELBO 目标函数，具体而言是目标函数中的 Kullback-Leibler（KL）散度项 \citep{zhao2019infovae}。本文提出一种新的目标函数，用模拟最大均值差异（MMD）目标的函数替换 KL 项。同时引入一种称为潜变量裁剪（latent clipping）的新技术，用于控制潜空间中的样本间距离。设计了一个概率自编码器模型，称为 $\mu$-VAE，并使用新目标函数在 MNIST 和 MNIST Fashion 数据集上训练，结果表明其优于使用 ELBO 和 $\beta$-VAE 目标训练的模型。$\mu$-VAE 更不易发生后验坍缩，且能生成高质量的重建样本与新样本。$\mu$-VAE 学习到的潜表示表现良好，可用于分类等下游任务。