利用学习流形上的局部密度结构压缩图像到图像翻译GAN
计算机视觉与模式识别
2023-12-25 v1 图像与视频处理
摘要
生成对抗网络（GAN）在建模图像到图像翻译的复杂数据分布方面取得了显著成功。然而，其高计算需求阻碍了它们在边缘设备等实际场景中的部署。现有的GAN压缩方法主要依赖于知识蒸馏或卷积分类器的剪枝技术。因此，它们忽略了GAN的关键特征：其学习流形上的局部密度结构。据此，我们从新的角度处理GAN压缩，明确鼓励剪枝后的模型保留原始参数重模型在其学习流形上的密度结构。我们通过将原始生成器的学习流形划分为其生成样本周围的局部邻域来促进剪枝模型的这一目标。然后，我们提出了一种新颖的剪枝目标，以正则化剪枝模型保留每个邻域上的局部密度结构，类似于核密度估计方法。此外，我们开发了一种协作剪枝方案，其中判别器和生成器由两个剪枝代理进行剪枝。我们设计代理在确定相应模型架构时通过交换同伴的反馈来捕获生成器和判别器之间的交互。得益于这种设计，我们的剪枝方法可以高效地找到性能良好的子网络，并且在剪枝过程中与基线相比能更有效地保持生成器和判别器之间的平衡，从而显示出更稳定的剪枝动态。我们在图像翻译GAN模型Pix2Pix和CycleGAN上，使用各种基准数据集和架构进行的实验证明了我们方法的有效性。
引用
@article{arxiv.2312.14776,
title = {Compressing Image-to-Image Translation GANs Using Local Density Structures on Their Learned Manifold},
author = {Alireza Ganjdanesh and Shangqian Gao and Hirad Alipanah and Heng Huang},
journal= {arXiv preprint arXiv:2312.14776},
year = {2023}
}
备注
The 38th Annual AAAI Conference on Artificial Intelligence, AAAI 2024