深度生成模型中的中奖彩票
机器学习
2021-02-01 v2 计算机视觉与模式识别
摘要
彩票假说认为，给定神经网络的稀疏子网络若初始化得当，可训练至与原始网络相当甚至更优的性能。已有彩票工作主要关注监督学习设定，若干论文提出了在分类问题中寻找“中奖彩票”的有效方法。本文中，我们确认深度生成模型（如 GAN 与 VAE）中存在中奖彩票。我们表明流行的迭代幅值剪枝方法（带延迟回绕）可与生成损失配合使用以找到中奖彩票。该方法有效得到稀疏度达 99% 的 AutoEncoder 彩票、93% 的 VAE 彩票与 89% 的 GAN 彩票（基于 CIFAR 与 Celeb-A 数据集）。我们还展示了中奖彩票在共享相同架构的不同生成模型（GAN 与 VAE）间的可迁移性，表明中奖彩票具有可帮助训练广泛深度生成模型的归纳偏置。此外，我们通过检测训练中极早期阶段的“早鸟彩票”展示生成模型中奖彩票的实际益处。借助早鸟彩票，我们可实现高达 88% 的浮点运算（FLOPs）削减与 54% 的训练时间削减，使在紧资源约束下训练大规模生成模型成为可能。这些结果优于现有早期剪枝方法如 SNIP（Lee, Ajanthan, and Torr 2019）与 GraSP（Wang, Zhang, and Grosse 2020）。我们的发现揭示了存在可改善生成模型收敛与稳定性的恰当网络初始化。
引用
@article{arxiv.2010.02350,
title = {Winning Lottery Tickets in Deep Generative Models},
author = {Neha Mukund Kalibhat and Yogesh Balaji and Soheil Feizi},
journal= {arXiv preprint arXiv:2010.02350},
year = {2021}
}
备注
Published at AAAI 2021