基于GAN先验蒸馏的小样本人脸图像翻译
计算机视觉与模式识别
2023-01-31 v1
摘要
人脸图像翻译近年来取得显著进展。然而，在有限数据上训练时，现有方法的性能大幅下降。尽管一些研究试图解决该问题，但它们要么未能实现小样本设定（少于10张），要么只能得到次优结果。本文提出GAN先验蒸馏（GPD）以实现有效的小样本人脸图像翻译。GPD包含两个模型：具有GAN先验的教师网络与完成端到端翻译的学生网络。具体而言，我们将在源域大规模数据上训练的教师网络以仅少量样本适配至目标域，从而学习目标域知识。随后，我们通过相同潜码同时生成源域与目标域图像，实现小样本增广。我们提出基于锚点的知识蒸馏模块，可充分利用训练数据与增广数据之间的差异，将教师网络知识蒸馏至学生网络。训练后的学生网络因吸收额外知识而具备优异泛化性能。定性与定量实验表明，我们的方法在小样本设定下优于最先进方法。
引用
@article{arxiv.2301.12257,
title = {Few-shot Face Image Translation via GAN Prior Distillation},
author = {Ruoyu Zhao and Mingrui Zhu and Xiaoyu Wang and Nannan Wang},
journal= {arXiv preprint arXiv:2301.12257},
year = {2023}
}