用于快速扩散采样的可微求解器搜索
计算机视觉与模式识别
2025-05-28 v1
摘要
扩散模型展现出了卓越的生成质量，但代价是大量的函数评估。最近，先进的基于 ODE 的求解器被开发出来，以缓解在有限采样步数下逆扩散求解的巨大计算需求。然而，这些深受 Adams 类多步法启发的求解器，仅依赖于与 t 相关的 Lagrange 插值。我们表明，与 t 相关的 Lagrange 插值对于扩散模型是次优的，并揭示了一个由时间步和求解器系数组成的紧凑搜索空间。基于我们的分析，我们提出了一种新颖的可微求解器搜索算法，以寻找更优的求解器。配备了搜索到的求解器后，整流流模型（例如 SiT-XL/2 和 FlowDCN-XL/2）在 ImageNet256 上仅用 10 步分别达到了 2.40 和 2.35 的 FID 分数。同时，DDPM 模型 DiT-XL/2 仅用 10 步就达到了 2.33 的 FID 分数。值得注意的是，我们搜索到的求解器以显著优势超越了传统求解器。此外，我们搜索到的求解器在各种模型架构、分辨率和模型大小上均展现出了通用性。
引用
@article{arxiv.2505.21114,
title = {Differentiable Solver Search for Fast Diffusion Sampling},
author = {Shuai Wang and Zexian Li and Qipeng zhang and Tianhui Song and Xubin Li and Tiezheng Ge and Bo Zheng and Limin Wang},
journal= {arXiv preprint arXiv:2505.21114},
year = {2025}
}
备注
accpeted on ICML25