变分自编码器：并非所有失败都相等
机器学习
2020-03-05 v1 图像与视频处理
机器学习
摘要
我们主张，变分自编码器（Variational Auto-Encoder, VAE）出现严重失败的一个根源是用于观测模型的概率分布类的选择。本文的第一个理论与实验贡献是确立：即使在大数据样本极限下，具有任意强大的神经架构和潜空间，若分布类的锐度与数据尺度不匹配，VAE 仍会失败。我们的第二个主张是，分布锐度最好由 VAE 学习（而非固定并离线优化）：自主调整该锐度使 VAE 能够动态控制重构损失优化与潜空间压缩之间的权衡。第二个经验贡献是展示对这种权衡的控制如何有助于逃离糟糕的局部最优，类似于模拟退火调度。两项主张均基于人工数据、MNIST 和 CelebA 上的实验，展示了锐度学习如何解决众所周知的 VAE 模糊问题。
引用
@article{arxiv.2003.01972,
title = {Variational Auto-Encoder: not all failures are equal},
author = {Michele Sebag and Victor Berger and Michèle Sebag},
journal= {arXiv preprint arXiv:2003.01972},
year = {2020}
}