通过广义方差参数化防止 VAE 中的过平滑
机器学习
2022-08-23 v2 计算机视觉与模式识别
摘要
变分自编码器(VAEs)常遭受后验坍缩，即所学隐空间变得无信息量。这常与该类似数据方差的超参数相关。可证明此超参数的不当选择会在线性近似情形下导致过平滑，并可在一般情形中经验验证。此外，若数据方差非均匀或条件性，则确定此类恰当选择变得不可行。因此，我们提出具数据方差广义参数化的 VAE 扩展，并将最大似然估计纳入目标函数以自适应正则化解码器平滑度。所提 VAE 扩展生成的图像在 MNIST 与 CelebA 数据集上展现出改进的 Fréchet inception distance (FID)。
引用
@article{arxiv.2102.08663,
title = {Preventing Oversmoothing in VAE via Generalized Variance Parameterization},
author = {Yuhta Takida and Wei-Hsiang Liao and Chieh-Hsin Lai and Toshimitsu Uesaka and Shusuke Takahashi and Yuki Mitsufuji},
journal= {arXiv preprint arXiv:2102.08663},
year = {2022}
}
备注
35 pages with 12 figures, accepted for Neurocomputing