教师不止于教：压缩图像到图像模型
计算机视觉与模式识别
2021-08-19 v2
摘要
生成对抗网络（GANs）在生成高保真图像方面取得了巨大成功，然而由于其巨大的计算成本和庞大的内存占用，它们效率低下。近期关于压缩GANs的努力在通过牺牲图像质量或引入耗时的搜索过程来获得更小的生成器方面取得了显著进展。在这项工作中，我们旨在通过引入一个教师网络来解决这些问题，该网络除执行知识蒸馏外，还提供一个可找到高效网络架构的搜索空间。首先，我们重新审视生成模型的搜索空间，将一种基于inception的残差块引入生成器。其次，为达到目标计算成本，我们提出一种一步剪枝算法，从教师模型中搜索学生架构并大幅降低搜索成本。它不需要l1稀疏正则化及其相关超参数，简化了训练流程。最后，我们提出通过名为全局核对齐（GKA）的索引最大化教师与学生之间的特征相似性来蒸馏知识。我们的压缩网络以大幅降低的计算成本（如MACs）实现了与原始模型相似甚至更好的图像保真度（FID、mIoU）。代码将发布于 https://github.com/snap-research/CAT。
引用
@article{arxiv.2103.03467,
title = {Teachers Do More Than Teach: Compressing Image-to-Image Models},
author = {Qing Jin and Jian Ren and Oliver J. Woodford and Jiazhuo Wang and Geng Yuan and Yanzhi Wang and Sergey Tulyakov},
journal= {arXiv preprint arXiv:2103.03467},
year = {2021}
}
备注
18 pages, 10 figures, accepted by CVPR 2021