勿求过密：不牺牲性能的稀疏到稀疏GAN训练
计算机视觉与模式识别
2022-03-08 v1 机器学习
摘要
生成对抗网络(GAN)自提出以来因生成数据的高质量而受到日益增长的关注。在取得愈发令人印象深刻的成果的同时，与庞大模型规模相关的资源需求阻碍了GAN在资源受限场景中的使用。对于推理，现有的模型压缩技术能以可比的性能降低模型复杂度。然而，由于GAN训练过程的脆弱性，其训练效率较少被探索。在本文中，我们首次探索了直接从零开始训练稀疏GAN而无需任何稠密或预训练步骤的可能性。更不寻常的是，我们提出的方法能够直接从零开始训练具有极稀疏生成器的稀疏非平衡GAN。我们不从完整GAN入手，而是以稀疏GAN起步，并在整个训练过程中动态探索生成器所张成的参数空间。这种稀疏到稀疏的训练过程在固定小规模参数预算下逐步增强高度稀疏生成器的能力，同时带来可观的训练与推理效率提升。基于现代GAN架构的大量实验验证了我们方法的有效性。我们经单次运行从零训练的稀疏化GAN，能够优于通过昂贵的迭代剪枝与重训练习得的GAN。或许最重要的是，我们发现直接从零训练稀疏GAN，而非从昂贵的预训练GAN继承参数，可以是一种更高效的解决方案。例如，仅使用80%稀疏生成器与70%稀疏判别器，我们的方法便能取得甚至优于稠密BigGAN的性能。
引用
@article{arxiv.2203.02770,
title = {Don't Be So Dense: Sparse-to-Sparse GAN Training Without Sacrificing Performance},
author = {Shiwei Liu and Yuesong Tian and Tianlong Chen and Li Shen},
journal= {arXiv preprint arXiv:2203.02770},
year = {2022}
}