SpecDiff：基于自推测加速扩散模型推理
计算机视觉与模式识别
2025-11-25 v2 机器学习
摘要
特征缓存最近作为一种有前景的方法应用于扩散模型加速。它通过在扩散模型推理过程中缓存相似的特征，有效缓解了高计算需求导致的效率问题。本文从信息利用的角度分析现有特征缓存方法，指出仅依赖历史信息会导致精度和速度性能受限。我们提出了一种新范式，通过基于不同迭代时间相同步骤上信息相似性引入未来信息的自推测。基于此范式，我们提出了 \textit{SpecDiff}，一种包括缓存特征选择算法和多级特征分类算法的训练自由的多级特征缓存策略。(1) 基于自推测信息的特征选择算法。\textit{SpecDiff} 根据自推测信息和历史信息确定每个标记的动态重要性得分，并通过重要性得分进行缓存特征选择。(2) 基于特征重要性得分的多级特征分类算法。\textit{SpecDiff} 利用特征重要性得分之间的差异对标记进行分类，并引入多级特征计算策略。广泛的实验表明，\textit{SpecDiff} 在 NVIDIA A800-80GB GPU 上相较于 RFlow 在 Stable Diffusion 3、3.5 和 FLUX 上平均实现 2.80 倍、2.74 倍和 3.17 倍的加速，同时几乎没有质量损失。通过合并推测信息和历史信息，\textit{SpecDiff} 克服了加速-精度权衡的瓶颈，推动了高效扩散模型推理中加速与精度的 Pareto 前沿。
引用
@article{arxiv.2509.13848,
title = {SpecDiff: Accelerating Diffusion Model Inference with Self-Speculation},
author = {Jiayi Pan and Jiaming Xu and Yongkang Zhou and Guohao Dai},
journal= {arXiv preprint arXiv:2509.13848},
year = {2025}
}
备注
Accepted by AAAI 2026 Oral