自监督GAN压缩

深度学习的成功导致了越来越大的模型来处理越来越复杂的任务；训练好的模型可能包含数百万个参数。这些大型模型计算和内存密集，这使得在最小化延迟、吞吐量和存储需求的情况下部署它们成为一项挑战。一些模型压缩方法已成功应用于图像分类、检测或语言模型，但在压缩执行复杂任务的生成对抗网络（GAN）方面的工作却很少。在本文中，我们表明，使用现有方法无法将标准的模型压缩技术——权重剪枝——应用于GAN。然后，我们开发了一种自监督压缩技术，该技术使用训练好的判别器来监督压缩生成器的训练。我们证明，该框架在高稀疏度下具有引人注目的性能，可以轻松应用于新的任务和模型，并能在不同剪枝粒度之间进行有意义的比较。