通过标签相关/无关维度解耦 VAE 的潜空间

VAE 需要以标准高斯分布作为潜空间的先验。由于所有编码都倾向于遵循相同的先验，它常常遭受所谓的“后验坍缩”。为避免此问题，本文引入针对潜编码的类特定分布。但与 CVAE 不同，我们提出了一种将潜空间解耦为单个输入的标签相关维度 $\bm{\mathrm{z}}_s$ 和标签无关维度 $\bm{\mathrm{z}}_u$ 的方法。我们应用两个分离的编码器将输入分别映射到 $\bm{\mathrm{z}}_s$ 和 $\bm{\mathrm{z}}_u$，然后将拼接后的编码交给解码器以重建输入。标签无关编码 $\bm{\mathrm{z}}_u$ 表示所有输入的共性特征，因此它们受标准高斯约束，其编码器以类似 VAE 的 amortized variational inference 方式训练。而 $\bm{\mathrm{z}}_s$ 被假定遵循高斯混合分布，其中每个分量对应一个特定类。$\bm{\mathrm{z}}_s$ 编码器中高斯分量的参数通过标签监督以全局随机方式优化。理论上，我们表明我们的方法实际上等价于在 $\bm{\mathrm{z}}_s$ 与类标签 $c$ 的联合分布上添加一个 KL 散度项，并且它可以直接增加 $\bm{\mathrm{z}}_s$ 与标签 $c$ 之间的互信息。我们的模型也可扩展到 GAN，通过在像素域添加判别器从而生成高质量且多样的图像。