内容感知的 GAN 压缩
计算机视觉与模式识别
2021-04-07 v1
摘要
生成对抗网络（GANs），例如 StyleGAN2，在各种图像生成与合成任务中起着至关重要的作用，但其臭名昭著的高计算成本阻碍了它们在边缘设备上的高效部署。直接应用通用压缩方法在 GAN 上效果很差，这促使了近期一些 GAN 压缩工作。已有工作主要加速条件 GAN（如 pix2pix 和 CycleGAN），而压缩最先进的无条件 GAN 很少被探索且更具挑战性。本文中，我们提出用于无条件 GAN 压缩的新方法。我们首先引入专为无条件 GAN 设计的有效的通道剪枝和知识蒸馏方案。然后我们提出一种新颖的内容感知方法来指导剪枝和蒸馏过程。借助内容感知，我们可以有效剪枝对感兴趣内容（如人脸）不重要的通道，并将蒸馏聚焦于这些区域，从而显著提升蒸馏质量。在 StyleGAN2 和 SN-GAN 上，我们相比最先进压缩方法取得了实质性改进。值得注意的是，我们将 StyleGAN2 的 FLOPs 降低了 11 倍，且与全尺寸模型相比视觉上可忽略的图像质量损失。更有趣的是，当应用于各种图像操控任务时，我们的压缩模型形成了更平滑且更好解耦的潜空间流形，使其在图像编辑中更为有效。
引用
@article{arxiv.2104.02244,
title = {Content-Aware GAN Compression},
author = {Yuchen Liu and Zhixin Shu and Yijun Li and Zhe Lin and Federico Perazzi and S. Y. Kung},
journal= {arXiv preprint arXiv:2104.02244},
year = {2021}
}
备注
Published in CVPR2021