ACT-Diffusion：面向单步扩散模型的高效对抗一致性训练
计算机视觉与模式识别
2024-03-29 v3
摘要
尽管扩散模型在图像生成方面表现出色，但其逐步去噪导致生成速度缓慢。一致性训练通过单步采样解决了这一问题，但往往产生质量较低的生成结果且需要较高的训练成本。在本文中，我们证明优化一致性训练损失可最小化目标分布与生成分布之间的Wasserstein距离。随着时间步增加，上界会累积先前的一致性训练损失。因此，需要更大的批量大小来同时减少当前与累积的损失。我们提出对抗一致性训练（ACT），其利用判别器直接最小化各时间步分布间的Jensen-Shannon（JS）散度。理论上，ACT提升了生成质量与收敛性。通过将判别器引入一致性训练框架，我们的方法在CIFAR10、ImageNet 6464和LSUN Cat 256256数据集上取得了改进的FID分数，保留了零样本图像修复能力，并且与基线方法相比，使用的批量大小不到原来的，模型参数与训练步数少于，这大幅降低了资源消耗。我们的代码见：https://github.com/kong13661/ACT
引用
@article{arxiv.2311.14097,
title = {ACT-Diffusion: Efficient Adversarial Consistency Training for One-step Diffusion Models},
author = {Fei Kong and Jinhao Duan and Lichao Sun and Hao Cheng and Renjing Xu and Hengtao Shen and Xiaofeng Zhu and Xiaoshuang Shi and Kaidi Xu},
journal= {arXiv preprint arXiv:2311.14097},
year = {2024}
}
备注
To appear in CVPR 2024