SwiftBrush v2：让您的单步扩散模型超越其教师
计算机视觉与模式识别
2024-08-28 v2 人工智能
摘要
本文旨在提升SwiftBrush——一个著名的单步文本到图像扩散模型的性能，以与其多步Stable Diffusion模型搏斗。最初，我们探讨了SwiftBrush与SD Turbo之间质量-多样性之间的权衡：前者在图像多样性方面表现突出，后者在图像质量方面表现突出。这一观察激励我们对训练方法进行修改，包括更好的权重初始化和高效的LoRA训练。此外，我们引入了一种新颖的受限CLIP损失，以增强图像-文本对齐并导致更好的图像质量。令人惊讶的是，通过组合使用采用高效LoRA和完整训练的模型权重，我们实现了一个新的单步扩散模型SOTA，实现了FID为8.14，超越了所有基于GAN的和多步Stable Diffusion模型。项目页面可在https://swiftbrushv2.github.io访问。
引用
@article{arxiv.2408.14176,
title = {SwiftBrush v2: Make Your One-step Diffusion Model Better Than Its Teacher},
author = {Trung Dao and Thuan Hoang Nguyen and Thanh Le and Duc Vu and Khoi Nguyen and Cuong Pham and Anh Tran},
journal= {arXiv preprint arXiv:2408.14176},
year = {2024}
}
备注
Accepted to ECCV'24