GAN 也能抽取彩票票根
机器学习
2021-06-02 v1 人工智能
计算机视觉与模式识别
摘要
深度生成对抗网络（GANs）在众多场景中日益受到青睐，但在资源受限的实际应用中通常面临参数复杂度过高的问题。然而，针对 GAN 的压缩研究尚不多见。少数工作表明，启发式地应用压缩技术通常会导致不尽人意的结果，这归因于 GAN 臭名昭著的训练不稳定性。与此同时，彩票票根假设在判别模型中取得了广泛成功，能够定位出可独立训练至全模型性能的稀疏匹配子网络。本文首次研究了深度 GAN 中此类可训练匹配子网络的存在性。针对一系列 GAN，我们确实在 67%–74% 稀疏度下找到了匹配子网络。我们观察到，无论是否对判别器进行剪枝，对匹配子网络的存在性与质量影响甚微，而判别器所用的初始化权重则起着重要作用。随后，我们展示了这些子网络向未知任务的强大可迁移性。此外，大量实验结果表明，我们所发现的子网络在图像生成（如 SNGAN）与图像到图像翻译 GAN（如 CycleGAN）上均大幅优于先前最先进的 GAN 压缩方法。代码见 https://github.com/VITA-Group/GAN-LTH。
引用
@article{arxiv.2106.00134,
title = {GANs Can Play Lottery Tickets Too},
author = {Xuxi Chen and Zhenyu Zhang and Yongduo Sui and Tianlong Chen},
journal= {arXiv preprint arXiv:2106.00134},
year = {2021}
}