在 VAE 的 ELBO 中平衡重构质量与正则化
机器学习
2019-09-10 v1 计算机视觉与模式识别
机器学习
摘要
变分自编码器（VAE）模型用于学习的证据下界（ELBO）损失中，重构质量与先验正则化之间存在权衡。现有处理先验与重构目标之间平衡的方法甚少令人满意，多数方法通过启发式应对该问题。本文中，我们证明实值数据的高斯似然 p(x|z) 中的噪声方差（常设为固定值）可自然起到此种平衡作用。通过学习该噪声方差以最大化 ELBO 损失，我们自动获得重构误差与后验上先验约束之间的最优权衡。该方差可直观解释为当前模型作为观测数据集最佳解释所需的噪声水平。进一步，通过让方差推断更灵活，它可方便地用作重构或生成样本的不确定性估计器。我们证明优化噪声方差是 VAE 学习的关键组成部分，并在 MNIST、Fashion MNIST 与 CelebA 数据集上展示了性能。我们发现该方法能在保持平滑潜空间流形以表示数据的同时，显著提升生成样本的质量。该方法还为最终生成模型中的不确定性提供了指示。
引用
@article{arxiv.1909.03765,
title = {Balancing Reconstruction Quality and Regularisation in ELBO for VAEs},
author = {Shuyu Lin and Stephen Roberts and Niki Trigoni and Ronald Clark},
journal= {arXiv preprint arXiv:1909.03765},
year = {2019}
}
备注
8 pages for main contents and 15 pages for supplemental materials that include data pre-processing, model architectures and more results