StudioGAN：面向图像合成的 GAN 分类体系与基准
计算机视觉与模式识别
2023-08-22 v3 机器学习
图像与视频处理
摘要
生成对抗网络（GAN）是用于逼真图像合成的最先进生成模型之一。随着 GAN 的训练和评估变得日益重要，当前的 GAN 研究生态系统并未提供能够进行一致且公平评估的可靠基准。此外，由于经过验证的 GAN 实现很少，研究人员需要花费大量时间来复现基线模型。我们研究了 GAN 方法的分类体系，并推出了一个名为 StudioGAN 的新型开源库。StudioGAN 支持 7 种 GAN 架构、9 种条件化方法、4 种对抗损失、12 种正则化模块、3 种可微增强、7 种评估指标和 5 种评估骨干网络。借助我们的训练与评估协议，我们使用多种数据集（CIFAR10、ImageNet、AFHQv2、FFHQ 和 Baby/Papa/Granpa-ImageNet）和 3 种不同的评估骨干网络（InceptionV3、SwAV 和 Swin Transformer）呈现了一个大规模基准。与 GAN 社区使用的其他基准不同，我们在统一的训练流程中训练了包括 BigGAN 和 StyleGAN 系列在内的代表性 GAN，并使用 7 种评估指标量化生成性能。该基准还评估了其他前沿生成模型（如 StyleGAN-XL、ADM、MaskGIT 和 RQ-Transformer）。StudioGAN 提供了 GAN 实现、训练和评估脚本以及预训练权重。StudioGAN 可在 https://github.com/POSTECH-CVLab/PyTorch-StudioGAN 获取。
引用
@article{arxiv.2206.09479,
title = {StudioGAN: A Taxonomy and Benchmark of GANs for Image Synthesis},
author = {Minguk Kang and Joonghyuk Shin and Jaesik Park},
journal= {arXiv preprint arXiv:2206.09479},
year = {2023}
}
备注
32 pages, IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI, 2023)