变分自编码器中的方差损失
机器学习
2020-05-26 v2 神经与进化计算
摘要
在本文中，我们通过针对不同网络架构和数据集的广泛实验，指出了变分自编码器（Variational Autoencoder, VAE）一个看似主要的问题：生成数据的方差显著低于训练数据的方差。由于生成模型通常使用诸如 Frechet Inception Distance (FID) 等指标来评估，这些指标比较真实图像与生成图像（的特征）的分布，方差损失通常会导致评分下降。该问题在两阶段设置中尤为突出，即我们使用第二个 VAE 在第一个 VAE 的潜空间中进行采样。微小的方差导致潜变量的实际分布与第二个 VAE 所生成分布之间的不匹配，从而阻碍了第二阶段的有益效果。将第二个 VAE 的输出重新归一化至期望的正态球面分布，我们获得了生成样本质量的突然提升，FID 指标也证实了这一点。
引用
@article{arxiv.2002.09860,
title = {Variance Loss in Variational Autoencoders},
author = {Andrea Asperti},
journal= {arXiv preprint arXiv:2002.09860},
year = {2020}
}
备注
Article accepted at the Sixth International Conference on Machine Learning, Optimization, and Data Science. July 19-23, 2020 - Certosa di Pontignano, Siena, Italy