超越固定公式:面向高效扩散模型的数据驱动线性预测器
计算机视觉与模式识别
2026-04-30 v1 机器学习
摘要
为解决扩散转换器（DiT）的高采样成本问题,特征缓存提供了一种无训练的加速方法。然而,现有方法依赖手工制定的预测公式,在激进跳过情况下会失败。我们提出 L2P（可学习线性预测器），一个简单的数据驱动缓存框架,用可学习的 per-timestep 权重取代固定系数。L2P 在单块 GPU 上约 20 秒即可快速训练,准确重构来自过去轨迹的当前特征。L2P 显著优于现有基线:在 FLUX.1-dev 上实现 4.55 倍的 FLOPs 减少和 4.15 倍的延迟加速,在 Qwen-Image 模型上实现最高 7.18 倍加速,且保持高视觉保真度,而先前方法在此情况下会出现明显的质量下降。我们的结果表明,学习线性预测器对于高效 DiT 推理非常有效。代码地址: https://github.com/Aredstone/L2P-Cache
引用
@article{arxiv.2604.26365,
title = {Beyond Fixed Formulas: Data-Driven Linear Predictor for Efficient Diffusion Models},
author = {Zhirong Shen and Rui Huang and Jiacheng Liu and Chang Zou and Peiliang Cai and Shikang Zheng and Zhengyi Shi and Liang Feng and Linfeng Zhang},
journal= {arXiv preprint arXiv:2604.26365},
year = {2026}
}
备注
Accepted by CVPR 2026