AlphaGAN：面向生成对抗网络的全可微架构搜索
计算机视觉与模式识别
2021-08-10 v3 机器学习
图像与视频处理
摘要
生成对抗网络（GANs）被表述为极小极大博弈问题，其中生成器借助与判别器的对抗学习来逼近真实数据分布。内在的问题复杂性对提升生成网络性能提出了挑战。在本工作中，我们旨在从网络架构的角度通过将对自动化架构搜索的近期进展引入 GAN 来提升模型学习。为此，我们提出了一种面向生成对抗网络的全可微搜索框架，称为 alphaGAN。搜索过程被形式化为求解一个双层极小极大优化问题，其中外层目标旨在针对纯纳什均衡寻找合适的网络架构，条件为生成器和判别器网络参数在内层通过传统 GAN 损失优化。整个优化以一阶方法通过全可微地交替最小化两层目标来执行，使得架构搜索能够在巨大搜索空间中完成。在 CIFAR-10 和 STL-10 数据集上的大量实验表明，我们的算法在由约 2×10¹¹ 种可能配置构成的搜索空间中，仅需在单 GPU 上 3 GPU 小时即可获得高性能架构。我们还对搜索过程的行为及所搜架构的性质提供了全面分析，这将有益于生成模型架构的进一步研究。预训练模型与代码见 https://github.com/yuesongtian/AlphaGAN。
引用
@article{arxiv.2006.09134,
title = {AlphaGAN: Fully Differentiable Architecture Search for Generative Adversarial Networks},
author = {Yuesong Tian and Li Shen and Li Shen and Guinan Su and Zhifeng Li and Wei Liu},
journal= {arXiv preprint arXiv:2006.09134},
year = {2021}
}
备注
In IEEE Transactions on Pattern Analysis and Machine Intelligence