GAN Slimming：通过统一优化框架实现一体化 GAN 压缩
机器学习
2020-08-26 v1 计算机视觉与模式识别
图像与视频处理
机器学习
摘要
生成对抗网络（GAN）在各种计算机视觉应用中日益流行，且最近开始部署到资源受限的移动设备。与其他深度模型类似，最先进的 GAN 存在参数复杂度高的问题。这近期推动了 GAN（通常是生成器）压缩的探索。相较于压缩深度分类器的丰富文献与显著成功，GAN 压缩研究仍处于起步阶段，迄今利用的是单一压缩技术而非更复杂的组合。我们观察到，由于训练 GAN notorious 的不稳定性，启发式地堆叠不同压缩技术会导致不尽人意的结果。为此，我们提出首个结合多种压缩手段用于 GAN 压缩的统一优化框架，称为 GAN Slimming（GS）。GS 将三种主流压缩技术：模型蒸馏、通道剪枝与量化，连同 GAN 极小极大目标，无缝集成为一种统一优化形式，可从端到端高效优化。无需额外技巧，GS 在压缩图像到图像翻译 GAN 时大幅优于现有方案。具体而言，我们将 GS 应用于压缩 CartoonGAN（一种最先进的风格迁移网络），压缩比高达 47 倍，且视觉质量退化极小。代码与预训练模型见 https://github.com/TAMU-VITA/GAN-Slimming。
引用
@article{arxiv.2008.11062,
title = {GAN Slimming: All-in-One GAN Compression by A Unified Optimization Framework},
author = {Haotao Wang and Shupeng Gui and Haichuan Yang and Ji Liu and Zhangyang Wang},
journal= {arXiv preprint arXiv:2008.11062},
year = {2020}
}
备注
ECCV 2020 spotlight