从 Euler 到 Dormand-Prince：流匹配生成模型的 ODE 求解器
机器学习
2026-05-05 v1
摘要
从流匹配生成模型进行采样需要求解一个常微分方程（ODE），其计算成本主要由神经网络的前向传播决定。我们从 Taylor 展开原理推导四个经典 ODE 求解器——Euler、显式中点、经典 Runge-Kutta（RK4）和 Dormand-Prince 5(4)，并从零开始在 PyTorch 中实现它们，对 2D 玩具分布到 MNIST 手写数字的条件流匹配任务进行系统性基准测试。在量化方面，我们使用分量 Wasserstein 距离构建 NFE 质量的 Pareto 前沿，发现 RK4 在 80 次函数评估处的样本质量，可与 Euler 在 200 次处相当。除复现已知收敛率外，我们报告了两个经验观察：（1）学习的速度场雅可比矩阵特征值谱在 t=1 附近急剧变硬，这解释了为何自适应的 Dormand-Prince 求解器自动在轨迹末端集中其步长预算；（2）低阶与高阶求解器之间的质量差距在模型未训练和模型较小时扩大，表明求解器选择在模型不完美时尤为重要。代码和所有实验脚本均公开可用。
引用
@article{arxiv.2605.00836,
title = {From Euler to Dormand-Prince: ODE Solvers for Flow Matching Generative Models},
author = {Hao Xiao},
journal= {arXiv preprint arXiv:2605.00836},
year = {2026}
}
备注
14 pages, 10 figures, code at github.com/xiao98/ODE-Flow-Experiments