用于高效图像到图像翻译的区域感知知识蒸馏
计算机视觉与模式识别
2022-05-26 v1
摘要
图像到图像翻译的近期进展见证了生成对抗网络（GANs）的成功。然而，GANs 通常包含海量参数，导致难以承受的内存与计算消耗，并限制其在边缘设备上的部署。为解决此问题，知识蒸馏被提出用于将知识从笨重的教师模型迁移至高效的学生模型。然而，先前多数知识蒸馏方法为图像分类设计，在图像到图像翻译中性能有限。本文中，我们提出区域感知知识蒸馏 ReKo 以压缩图像到图像翻译模型。首先，ReKo 通过注意力模块自适应地找出图像中的关键区域。随后，采用块级对比学习在这些关键区域中最大化学生与教师间的互信息。在九个数据集上与八种对比方法的实验证明了 ReKo 在成对与非成对图像到图像翻译上的显著有效性。例如，我们压缩 7.08 倍、加速 6.80 倍的 CycleGAN 学生在 Horse to Zebra 与 Zebra to Horse 上分别以 1.33 和 1.04 的 FID 分数优于其教师。代码将于 GitHub 发布。
引用
@article{arxiv.2205.12451,
title = {Region-aware Knowledge Distillation for Efficient Image-to-Image Translation},
author = {Linfeng Zhang and Xin Chen and Runpei Dong and Kaisheng Ma},
journal= {arXiv preprint arXiv:2205.12451},
year = {2022}
}