对抗网络与自编码器：对偶关系与泛化界
机器学习
2019-04-29 v2 机器学习
摘要
自生成对抗网络（GAN）与变分自编码器（VAE）提出以来，生成建模领域的文献出现了爆发式复兴。GAN 令人惊叹却难以捉摸的实证性能催生了许多 GAN-VAE 混合模型，以期获得 GAN 级别的性能和 VAE 的额外益处（如 GAN 所不具备的用于特征降维的编码器）。近来，Wasserstein 自编码器（WAE）被提出，取得了与 GAN 相近的性能，但二者究竟是本质不同还是可进一步改进为统一模型仍不清楚。本文研究 -GAN 与 WAE 模型，有两个主要发现。首先，我们发现 -GAN 与 WAE 目标函数具有对偶关系，并在某些假设下等价，这使我们能够解释 WAE 的成功。其次，该等价结果使我们首次证明自编码器模型的泛化界，这是生成模型理论分析中的关键问题。此外，我们表明 WAE 目标与其他统计量（如 -散度，特别是被 Wasserstein 距离上界约束）相关，这使我们能够利用现有高效（正则化）最优传输求解器。我们的发现 thus 首次给出了 GAN 与自编码器模型之间的对偶关系，评论了其泛化能力，并朝统一这些模型迈出了一步。
引用
@article{arxiv.1902.00985,
title = {Adversarial Networks and Autoencoders: The Primal-Dual Relationship and Generalization Bounds},
author = {Hisham Husain and Richard Nock and Robert C. Williamson},
journal= {arXiv preprint arXiv:1902.00985},
year = {2019}
}