CutDiffusion：一种简单、快速、经济且强大的扩散模型外推方法
计算机视觉与模式识别
2024-04-24 v1 人工智能
摘要
将大型预训练低分辨率扩散模型转换为适应更高分辨率需求的过程，即扩散外推，显著提高了扩散模型的适应性。我们提出了无需调参的CutDiffusion，旨在简化和加速扩散外推过程，使其更具经济性并提升性能。CutDiffusion遵循现有的基于patch的外推方法，但将标准的patch扩散过程分为初始阶段（专注于综合结构去噪）和后续阶段（专注于特定细节 refinement）。广泛的实验结果凸显了CutDiffusion诸多显著优势：(1) 简单的方法构建，使更高分辨率的扩散过程简洁且无需第三方参与；(2) 快速的推理速度，通过单步更高分辨率扩散过程实现，推理所需的patch数更少；(3) 经济的GPU成本，由于基于patch的推理以及综合结构去噪中的较少patch数；(4) 强大的生成性能，源于对特定细节 refinement的强调。
引用
@article{arxiv.2404.15141,
title = {CutDiffusion: A Simple, Fast, Cheap, and Strong Diffusion Extrapolation Method},
author = {Mingbao Lin and Zhihang Lin and Wengyi Zhan and Liujuan Cao and Rongrong Ji},
journal= {arXiv preprint arXiv:2404.15141},
year = {2024}
}