稀疏 GAN 的均衡训练
机器学习
2023-11-21 v2 计算机视觉与模式识别
机器学习
摘要
在过去几年中，开发更大更深的神经网络（包括生成对抗网络（GANs）等深度生成模型）的兴趣日益增长。然而，GANs 通常具有较高的计算复杂度，促使研究者探索降低训练与推理成本的方法。在监督学习中日益流行的一种此类方法是动态稀疏训练（DST），其在保持良好性能的同时享有优异的训练效率。尽管具有潜在优势，但由于训练过程的对抗性，将 DST 应用于 GANs 面临挑战。本文提出一种称为平衡比（BR）的新度量，用于研究稀疏生成器与判别器之间的平衡。我们还引入一种称为均衡动态稀疏训练（ADAPT）的新方法，力求在 GAN 训练过程中控制 BR，以在性能与计算成本之间取得良好权衡。我们提出的方法在多个数据集上展现出有前景的结果，证明了其有效性。
引用
@article{arxiv.2302.14670,
title = {Balanced Training for Sparse GANs},
author = {Yite Wang and Jing Wu and Naira Hovakimyan and Ruoyu Sun},
journal= {arXiv preprint arXiv:2302.14670},
year = {2023}
}
备注
Accepted at NeurIPS 2023 (https://neurips.cc/virtual/2023/poster/70078). Our code will be released at https://github.com/YiteWang/ADAPT