对抗得分身份蒸馏：一步超越教师
摘要
得分身份蒸馏 (SiD) 是一种无数据的方法，已在图像生成中实现最先进性能，仅利用预训练扩散模型即可实现，无需任何训练数据。然而，其最终性能受限于预训练模型在扩散过程中各个阶段对真实数据得分的准确性。在本文中，我们引入 SiDA (SiD with Adversarial Loss)，不仅提升了生成质量，还提高了蒸馏效率，通过融入真实图像和对抗损失。SiDA 利用生成器的得分网络编码器作为判别器，以区分真实图像和 SiD 生成的图像。对抗损失在每个 GPU 的批次上进行批归一化，然后与原始 SiD 损失合并。该集成有效地将每个 GPU 批次的平均“假像率”纳入基于像素的 SiD 损失中，使 SiDA 能够在单步蒸馏中 distillation 单个生成器。与其前身相比，SiDA 在从头蒸馏时收敛速度显著更快，在从预蒸馏的 SiD 生成器进行微调时迅速提升原始模型的性能。这种单步对抗蒸馏方法在 distilling EDM 扩散模型时建立了新的生成性能基准，实现了 ImageNet 64x64 上 FID 为 1.110 的分数。当 distilling 训练在 ImageNet 512x512 上训练的 EDM2 模型时，我们的 SiDA 方法甚至超越了最大的教师模型 EDM2-XXL，该模型在使用分类器自由指导 (CFG) 和 63 次生成步骤时获得 FID 为 1.81。相比之下，SiDA 实现了大小 XS 为 2.156、S 为 1.669、M 为 1.488、L 为 1.413、XL 为 1.379 和 XXL 为 1.366 的 FID 分数，这些分数均无需 CFG，仅用一个生成步骤即可实现。这些结果突显了所有模型大小上的显著改进。我们的代码可在 https://github.com/mingyuanzhou/SiD/tree/sida 上获得。
引用
@article{arxiv.2410.14919,
title = {Adversarial Score identity Distillation: Rapidly Surpassing the Teacher in One Step},
author = {Mingyuan Zhou and Huangjie Zheng and Yi Gu and Zhendong Wang and Hai Huang},
journal= {arXiv preprint arXiv:2410.14919},
year = {2024}
}
备注
10 pages (main text), 34 figures, and 10 tables