方差约束自编码
机器学习
2020-05-11 v1 机器学习
摘要
近期最先进的基于自编码器的生成模型具有编码器-解码器结构，并学习一个可从中采样的预定义分布的潜表示。以随机方式实现这些模型的编码器网络，提供了一种自然且常用的避免过拟合和强制平滑解码器函数的方法。然而，我们表明，对于随机编码器，同时尝试强制分布约束和最小化输出失真会导致生成与重建质量的下降。此外，在执行解耦时，尝试强制潜分布约束并不合理。因此，我们提出方差约束自编码器（VCAE），其仅对潜分布强制方差约束。我们的实验表明，在 MNIST 和 CelebA 上，VCAE 在重建与生成质量方面均优于 Wasserstein 自编码器和变分自编码器（Variational Autoencoder）。此外，我们展示了配备总相关惩罚项的 VCAE 在 3D-Shapes 上学习解耦表示方面与 FactorVAE 表现相当，同时是一种更原则性的方法。
引用
@article{arxiv.2005.03807,
title = {Variance Constrained Autoencoding},
author = {D. T. Braithwaite and M. O'Connor and W. B. Kleijn},
journal= {arXiv preprint arXiv:2005.03807},
year = {2020}
}
备注
20 pages