PaGoDA：从低分辨率扩散教师开始的渐进式扩散生成器生长
计算机视觉与模式识别
2024-10-30 v2 人工智能
机器学习
机器学习
摘要
扩散模型在生成高维内容方面表现出色，但训练过程计算密集，尤其是在训练阶段。我们提出了渐进式扩散自编码器(PaGoDA)，一种新型管道，通过三个阶段减少扩散模型的训练成本：在下采样数据上训练扩散模型、从预训练扩散模型蒸馏、渐进式超分辨率。通过所提出的管道，PaGoDA在8倍下采样数据上训练其扩散模型的成本降低64倍；在推理阶段，单步推理在ImageNet上实现了从64x64到512x512所有分辨率以及文本到图像的SOTA性能。PaGoDA的管道可直接应用于潜在空间，同时在Latent Diffusion Models(例如Stable Diffusion)中添加压缩。代码已公开https://github.com/sony/pagoda。
引用
@article{arxiv.2405.14822,
title = {PaGoDA: Progressive Growing of a One-Step Generator from a Low-Resolution Diffusion Teacher},
author = {Dongjun Kim and Chieh-Hsin Lai and Wei-Hsiang Liao and Yuhta Takida and Naoki Murata and Toshimitsu Uesaka and Yuki Mitsufuji and Stefano Ermon},
journal= {arXiv preprint arXiv:2405.14822},
year = {2024}
}
备注
NeurIPS 2024