通过自蒸馈改进生成对抗网络
计算机视觉与模式识别
2026-05-12 v1 机器学习
摘要
在现代生成对抗网络 (GAN) 中，维持生成器权重的指数移动平均 (EMA) 已成为标准做法，因为这样得到的平均模型在实际训练的生成器上表现更佳。然而，EMA 生成器仅用于最终部署，不影响训练过程。为解决这一被忽略的机会，我们引入了自蒸馈生成对抗网络 (SD-GAN)，其采用 EMA 生成器作为教师来通过感知损失指导活跃生成器 (学生)。我们在 Dirac-GAN 设置下证明了 SD-GAN 的局部渐近稳定性，并展示其可抑制传统 GAN 所固有的挥发性循环行为。通过在多个主流架构和数据集上的实证评估，证明 SD-GAN 在多个指标上（尤其是 FID 和 random-FID）提高最终图像质量，稳定了优化轨迹，并提供了额外的学习指导，这些指导与传统对抗损失并非简单相关。它也对微调预训练的 GAN 模型证明有效。
引用
@article{arxiv.2605.08577,
title = {Improving Generative Adversarial Networks with Self-Distillation},
author = {Antoni Nowinowski and Krzysztof Krawiec},
journal= {arXiv preprint arXiv:2605.08577},
year = {2026}
}