MNIST VAE 的生成损失与增强训练

变分自编码器（VAE）框架是训练无监督生成模型的常用选择，具有易于训练和数据潜在表示的特点。然而，VAE 的目标函数并不能保证实现后者，而未能实现这一点会导致一种称为后验坍缩的常见失败模式。即使在成功的情况下，VAE 也常常产生低精度的重建和生成样本。引入 KL 散度权重 $\beta$ 有助于使模型避免后验坍缩，但其调参通常是一个没有指导性指标的试错过程。在此我们检验了以下想法：使用生成样本的总 VAE 损失（生成损失）作为生成质量的代理指标；相关的假设，即从均值潜在向量进行的 VAE 重建往往比原始样本更典型地代表其类别；以及通过用生成的变体扩充训练数据（增强训练）来利用这一性质的想法。结果喜忧参半，但重复的编码和解码确实从卷积和全连接 MNIST VAE 中产生了定性和定量上更典型的样本，这表明它可能是 VAE 框架的固有属性。