重新参数化 VAE 以提升稳定性
机器学习
2021-06-28 v1 计算机视觉与模式识别
摘要
我们提出一种针对变分自编码器(VAE)训练数值稳定性的理论方法。近期研究使 VAE 能够在复杂图像数据集上达到最先进的生成结果,这激励了我们的工作。这些极深的 VAE 架构,以及使用更复杂输出分布的 VAE,凸显出一种倾向,即随意产生高训练梯度以及 NaN 损失。为应对其局限性而提出的经验性修复既非完全理论奠基,在实践中也不普遍充分。基于此,我们将问题源头定位在模型的神经网络与其输出概率分布之间的接口处。我们解释了源于对编码正态分布方差的疏忽表述的一种常见不稳定性来源,并将相同方法应用于其他较不明显的来源。我们表明,通过对我们所依赖的正态分布进行参数化的方式做微小改动,VAE 即可被安全地训练。
引用
@article{arxiv.2106.13739,
title = {Re-parameterizing VAEs for stability},
author = {David Dehaene and Rémy Brossard},
journal= {arXiv preprint arXiv:2106.13739},
year = {2021}
}