基于签名的扩散模型蒸馏：加速轻量化
机器学习
2025-08-26 v1 概率论
机器学习
摘要
扩散模型在生成式建模中取得了最先进的结果，但在推理阶段仍然计算密集，往往需要数千个离散步骤。为此，我们提出Sig-DEG（Signature-based Differential Equation Generator），一种用于蒸馏预训练扩散模型的新型生成器，能够在粗糙的时间分辨率下通用地近似反向扩散过程。灵感来自对随机微分方程（SDEs）的高阶近似，Sig-DEG 利用部分签名（partial signatures）有效地总结子区间中的布朗运动，并采用循环结构以实现对SDE解的准确全局近似。将蒸馏形式化为监督学习任务，即在粗时间网格上训练Sig-DEG以匹配细分辨率扩散模型的输出。推理期间，Sig-DEG 实现快速生成，因为部分签名项可在无需细粒度布朗路径的情况下精确模拟。实验表明，Sig-DEG 在保持竞争性生成质量的同时，将推理步骤数量降低了一个数量级。我们的结果凸显了基于签名的近似方法在高效生成式建模中的有效性。
引用
@article{arxiv.2508.16939,
title = {Sig-DEG for Distillation: Making Diffusion Models Faster and Lighter},
author = {Lei Jiang and Wen Ge and Niels Cariou-Kotlarek and Mingxuan Yi and Po-Yu Chen and Lingyi Yang and Francois Buet-Golfouse and Gaurav Mittal and Hao Ni},
journal= {arXiv preprint arXiv:2508.16939},
year = {2025}
}