KD-DLGAN：基于知识蒸馏的有限数据图像生成
计算机视觉与模式识别
2023-03-31 v1 图像与视频处理
摘要
生成对抗网络（GANs）高度依赖大规模训练数据来训练高质量图像生成模型。在训练数据有限时，GAN判别器常遭受严重过拟合，直接导致生成质量下降，尤其在生成多样性方面。受知识蒸馏（KD）近期进展的启发，我们提出KD-DLGAN，一种基于知识蒸馏的生成框架，引入预训练视觉-语言模型来训练有效的有限数据生成模型。KD-DLGAN包含两项创新设计。其一是聚合生成式KD，通过以更困难的学习任务挑战判别器并从预训练模型蒸馏更具泛化性的知识，缓解判别器过拟合。其二是相关生成式KD，通过蒸馏并保留预训练模型中多样的图像-文本相关性来提升生成多样性。在多个基准上的大量实验表明，KD-DLGAN在有限训练数据下实现了优越的图像生成。此外，KD-DLGAN以一致且显著的性能提升补充了当前最优方法。
引用
@article{arxiv.2303.17158,
title = {KD-DLGAN: Data Limited Image Generation via Knowledge Distillation},
author = {Kaiwen Cui and Yingchen Yu and Fangneng Zhan and Shengcai Liao and Shijian Lu1 and Eric Xing},
journal= {arXiv preprint arXiv:2303.17158},
year = {2023}
}