探索内容关系以蒸馏高效 GAN
计算机视觉与模式识别
2022-12-22 v1
摘要
本文提出内容关系蒸馏（CRD）来解决生成对抗网络（GANs）过度参数化的问题，以使其可用于前沿设备。与传统实例级蒸馏不同，我们设计了一种面向 GAN 压缩的新颖知识：将教师输出内容切分为多个细粒度，如行/列条带（全局信息）与图像块（局部信息），对其间关系（如成对距离与三元角度）建模，并鼓励学生网络在其输出内容中捕捉这些关系。基于我们所提出的内容级蒸馏，我们还部署了一个在线教师判别器，其在与教师生成器联合训练时持续更新，而在与学生生成器联合训练时保持冻结，以获得更好的对抗训练。我们在三个基准数据集上进行了大量实验，结果表明我们的 CRD 在 GAN 上实现了最大的复杂度缩减，同时相比现有方法取得了最佳性能。例如，我们将 CycleGAN 的 MACs 缩减约 40 倍、参数缩减超过 80 倍，同时获得 46.61 的 FID，优于当前最优方法的 51.92。本项目代码见 https://github.com/TheKernelZ/CRD。
引用
@article{arxiv.2212.11091,
title = {Exploring Content Relationships for Distilling Efficient GANs},
author = {Lizhou You and Mingbao Lin and Tie Hu and Fei Chao and Rongrong Ji},
journal= {arXiv preprint arXiv:2212.11091},
year = {2022}
}