编码器-解码器 GAN 架构的理论局限
机器学习
2017-11-08 v1 机器学习
摘要
编码器-解码器 GAN 架构（例如 BiGAN 和 ALI）试图在 GANs 框架中加入一个推断机制，该机制由一个小型编码器深度网络组成，将数据点映射到其简洁的编码。其直觉是，被迫与常规生成器一起训练一个编码器，会迫使系统学习从码到数据点及反之的有意义映射，这应当改进目标分布的学习并改善模式崩溃。它还应产生有意义的编码，可用作下游任务的特征。本文严格证明，即使在真实图像分布上，编码器-解码器 GAN 的训练目标（a）无法防止模式崩溃；即即使生成分布具有低且有限的支撑，目标也可接近最优（b）无法防止为数据学习无意义的编码——本质上是白噪声。因此，如果编码器-解码器 GAN 确实有效，那必定是由于尚未被理解的原因，因为即使对于无意义的解，训练目标也可能很低。
引用
@article{arxiv.1711.02651,
title = {Theoretical limitations of Encoder-Decoder GAN architectures},
author = {Sanjeev Arora and Andrej Risteski and Yi Zhang},
journal= {arXiv preprint arXiv:1711.02651},
year = {2017}
}