StyleGAN蒸馏中需注意的鸿沟
计算机视觉与模式识别
2022-08-19 v1
摘要
StyleGAN系列是最受欢迎的用于无条件生成生成对抗网络（GAN）之一。尽管性能令人印象深刻，其对存储和计算的较高需求阻碍了在资源受限设备上的部署。本文对从流行的类StyleGAN架构中蒸馏提供了全面研究。我们的核心见解是，StyleGAN蒸馏的主要挑战在于输出差异问题，即给定相同输入隐码时教师与学生模型产生不同输出。标准知识蒸馏损失在此异质蒸馏场景下通常失效。我们对该差异问题的原因和影响进行了透彻分析，并确定映射网络在决定生成图像语义信息方面起关键作用。基于此发现，我们提出一种学生模型的新初始化策略，可最大程度确保输出一致性。为进一步增强教师与学生模型间的语义一致性，我们提出基于隐方向的知识蒸馏损失，以保留隐空间中的语义关系。大量实验证明了我们的方法在蒸馏StyleGAN2和StyleGAN3上的有效性，大幅优于现有GAN蒸馏方法。
引用
@article{arxiv.2208.08840,
title = {Mind the Gap in Distilling StyleGANs},
author = {Guodong Xu and Yuenan Hou and Ziwei Liu and Chen Change Loy},
journal= {arXiv preprint arXiv:2208.08840},
year = {2022}
}
备注
Accepted by ECCV2022