自稀疏生成对抗网络
计算机视觉与模式识别
2022-10-11 v1
摘要
生成对抗网络（GANs）是一种通过对抗训练学习数据分布的无监督生成模型。然而，近期实验表明，由于需要在高维参数空间中优化以及零梯度问题，GANs 难以训练。在本工作中，我们提出了一种自稀疏生成对抗网络（Self-Sparse GAN），其缩减了参数空间并缓解了零梯度问题。在 Self-Sparse GAN 中，我们设计了一个由稀疏分解与特征图重组构成的自适应稀疏变换模块（SASTM），可应用于多通道特征图以获得稀疏特征图。Self-Sparse GAN 的核心思想是在生成器的每个反卷积层之后添加 SASTM，从而利用多通道特征图中的稀疏性自适应地缩减参数空间。我们从理论上证明，SASTM 不仅能缩减生成器卷积核权重的搜索空间，还能通过在批归一化层中保持有意义的特征并驱使反卷积层权重远离负值来缓解零梯度问题。实验结果表明，与 WGAN-GP 相比，我们的方法在 MNIST、Fashion-MNIST、CIFAR-10、STL-10、mini-ImageNet、CELEBA-HQ 和 LSUN bedrooms 上取得了最佳的图像生成 FID 分数，FID 相对下降幅度为 4.76% ~ 21.84%。
引用
@article{arxiv.2101.10556,
title = {Self Sparse Generative Adversarial Networks},
author = {Wenliang Qian and Yang Xu and Wangmeng Zuo and Hui Li},
journal= {arXiv preprint arXiv:2101.10556},
year = {2022}
}