通过平均导数学习积分扩散 ODE
机器学习
2025-12-16 v3
摘要
为了加速扩散模型推理，数值求解器在极小步长下表现不佳，而蒸馏技术通常会增加复杂性和不稳定性。本工作提出了一种折中策略，通过使用源自导数-积分关系的损失函数来学习 ODE 积分，平衡了性能与成本，其灵感来自蒙特卡洛积分和 Picard 迭代。从几何角度来看，该损失通过将切线逐渐扩展为割线来发挥作用，因此被命名为割线损失。割线损失的目标与扩散模型的目标相同，即扩散模型本身，从而带来了极大的训练稳定性。通过微调或蒸馏，EDM 的割线版本在 CIFAR-10 上实现了 步 FID 为 ，而 SiT-XL/2 的割线版本在 ImageNet- 上实现了 步 FID 为 和 步 FID 为 。代码可在 https://github.com/poppuppy/secant-expectation 获取。
引用
@article{arxiv.2505.14502,
title = {Learning to Integrate Diffusion ODEs by Averaging the Derivatives},
author = {Wenze Liu and Xiangyu Yue},
journal= {arXiv preprint arXiv:2505.14502},
year = {2025}
}
备注
Accepted to NeurIPS 2025