多层欧拉马约姆方法在扩散模型中的多项式加速

我们提出了多层欧拉马约姆（Multilevel Euler-Maruyama, ML-EM）方法，用于求解扩散模型中的 SDE 与 ODE。该方法利用一系列具有递增精度和计算成本的近似器 $f^1,\dots,f^k$ 来逼近漂移项 $f$，仅需少量对最精确的 $f^k$ 的评估，以及大量对较低成本的 $f^1,\dots,f^{k-1}$ 的评估。若漂移项落入所谓的“高于蒙特卡洛”（Harder than Monte Carlo, HTMC） regime，即需计算量为 $\epsilon^{-\gamma}$ 才能实现 $\epsilon$ 精度逼近（其中 $\gamma>2$），则 ML-EM 在 $\epsilon^{-\gamma}$ 的计算成本下即可 $\epsilon$ 近似求解 SDE，显著优于传统 EM 方法的 $\epsilon^{-\gamma-1}$ 速率。即使如此，它也允许我们以评估漂移项单次计算的相同成本来求解 SDE。在扩散模型的语境下，不同层次的 $f^{1},\dots,f^{k}$ 通过训练不同尺寸的 UNet 获得，ML-EM 使得我们能够等价于仅评估最大 UNet 进行采样。我们的数值实验确认了理论预测：在将 CelebA 数据集缩放至 64x64 的图像生成任务中，我们测得 $\gamma\approx2.5$，实现了最高可达四倍的加速。鉴于这是一种多项式加速，我们预计在涉及大规模网络的实际应用中，将获得更为显著的加速效果。