通过压缩与跨越从GAN生成器蒸馏表征
计算机视觉与模式识别
2022-11-08 v1
摘要
近年来，生成对抗网络（GANs）一直是活跃的研究课题，并已被证明能在各种领域成功生成高质量逼真图像。GAN生成器的可控合成能力表明它们保持了信息丰富、解耦且可解释的图像表征，但利用其表征并将其迁移到下游任务在很大程度上未被探索。本文中，我们提出通过压缩和跨越GAN生成器的表征来蒸馏知识。我们将生成器特征通过一网络压缩为对语义保持变换不变的表征，之后再蒸馏到学生网络。我们还通过使用真实训练数据将合成域中蒸馏得到的表征跨越到真实域，以缓解GAN的模式崩溃并提升学生网络在真实域中的性能。实验证明了我们方法的有效性，并揭示了其在自监督表征学习中的重要意义。代码见 https://github.com/yangyu12/squeeze-and-span。
引用
@article{arxiv.2211.03000,
title = {Distilling Representations from GAN Generator via Squeeze and Span},
author = {Yu Yang and Xiaotian Cheng and Chang Liu and Hakan Bilen and Xiangyang Ji},
journal= {arXiv preprint arXiv:2211.03000},
year = {2022}
}
备注
16 pages, NeurIPS 2022