一种带辅助分支以提升 GAN 性能的新型生成器
计算机视觉与模式识别
2024-02-06 v2
摘要
生成对抗网络（GAN）中的生成器以由粗到精的方式学习图像生成，其中较早层学习图像的整体结构，较晚层细化细节。为了良好地传播粗粒度信息，近期工作通常通过将多个残差块堆叠来构建其生成器。尽管残差块能产生高质量图像且训练稳定，它常阻碍网络中的信息流。为缓解此问题，本文引入一种新型生成器架构，它通过结合经两条不同分支（主分支与辅助分支）获得的特征来生成图像。主分支的目标是通过多个残差块传递以生成图像，而辅助分支则是将较早层的粗粒度信息传送到较晚层。为成功结合主分支与辅助分支中的特征，我们还提出一种门控特征融合模块，以控制这些分支中的信息流。为证明所提方法的优越性，本文使用包括 CIFAR-10、CIFAR-100、LSUN、CelebA-HQ、AFHQ 和 tiny-ImageNet 在内的多种标准数据集进行了大量实验。此外，我们进行了多种消融研究以展示所提方法的泛化能力。定量评估证明，所提方法在 Inception score（IS）与 Frechet inception distance（FID）方面展现出令人印象深刻的 GAN 性能。例如，所提方法在 tiny-ImageNet 数据集上将 FID 与 IS 分数分别从 35.13 提升至 25.00、从 20.23 提升至 25.57。
引用
@article{arxiv.2112.14968,
title = {A Novel Generator with Auxiliary Branch for Improving GAN Performance},
author = {Seung Park and Yong-Goo Shin},
journal= {arXiv preprint arXiv:2112.14968},
year = {2024}
}