生成损失、增广训练与多尺度 VAE

变分自编码器（VAE）框架仍是训练无监督生成模型的流行选择，尤其对于离散数据——其中生成对抗网络（GANs）需要变通方法为生成器创建梯度。在我们对美国邮政地址建模的工作中，表明具有树递归架构的离散 VAE 在捕捉结构化数据内字段相关性方面能力有限，即便通过 scheduled sampling 与 KL 散度权重 $\beta$ 的调优克服了后验坍缩难题。更糟的是，VAE 似乎难以将其生成样本映射到潜空间，因为其 VAE 损失在训练过程中滞后甚至上升。受此观察启发，我们表明用生成变体增广训练数据（增广训练）与同时以多个 $\beta$ 值训练 VAE（多尺度 VAE）均能改善 VAE 的生成质量。尽管增广训练与多尺度 VAE 在动机与侧重上不同，我们表明二者实际相关联，并对模型有相似影响。