变分自编码器的一致性正则化

变分自编码器（VAEs）是一种强大的无监督学习方法。它们利用变分推断（VI）在潜变量模型中进行可扩展的近似后验推断。VAE 设定了一个由称为编码器的深度神经网络参数化的变分族，该编码器以数据作为输入。该编码器在所有观测间共享，从而分摊了推断成本。然而，VAE 的编码器具有不良特性：它将给定观测及其语义保持变换映射到不同的潜表示。编码器的这种“不一致性”降低了所学表示的质量，尤其对下游任务不利，并且也对泛化产生负面影响。本文中，我们提出一种正则化方法来在 VAE 中强制一致性。其思想是最小化以观测为条件时的变分分布与以该观测的随机语义保持变换为条件时的变分分布之间的 Kullback-Leibler（KL）散度。该正则化适用于任何 VAE。在我们的实验中，我们将其应用于多个基准数据集上的四种不同 VAE 变体，发现它始终提高了所学表示的质量，并且带来了更好的泛化。特别地，当应用于 Nouveau 变分自编码器（NVAE）时，我们的正则化方法在 MNIST 和 CIFAR-10 上取得了最先进的性能。我们还将我们的方法应用于三维数据，发现其学到的表示在下游分类任务的准确率度量下具有更优的质量。