通过可微掩码与协同注意力蒸馏学习高效的图像翻译 GAN
计算机视觉与模式识别
2022-03-03 v4
摘要
生成对抗网络（GANs）已广泛应用于图像翻译，但其高昂的计算与存储成本阻碍了在移动设备上的部署。由于 GAN 任务的特殊性以及对抗训练的不稳定性，主流的 CNN 压缩方法无法直接应用于 GANs。为解决这些问题，本文提出一种新颖的 GAN 压缩方法 DMAD，其核心在于提出可微掩码（Differentiable Mask）与协同注意力蒸馏（co-Attention Distillation）。前者以训练自适应方式搜索轻量级生成器结构；为克服剪枝残差连接时的通道不一致问题，进一步引入了自适应跨块组稀疏性。后者将预训练模型生成器与判别器的信息注意力图同时蒸馏至搜索得到的生成器，有效稳定了轻量级模型的对抗训练。实验表明，DMAD 可将 CycleGAN 的乘加运算（MACs）减少 13 倍、Pix2Pix 减少 4 倍，同时相对于完整模型保持相当的性能。我们的代码可在 https://github.com/SJLeo/DMAD 获取。
引用
@article{arxiv.2011.08382,
title = {Learning Efficient GANs for Image Translation via Differentiable Masks and co-Attention Distillation},
author = {Shaojie Li and Mingbao Lin and Yan Wang and Fei Chao and Ling Shao and Rongrong Ji},
journal= {arXiv preprint arXiv:2011.08382},
year = {2022}
}
备注
Accepted by IEEE Transactions on Multimedia (IEEE TMM)