中文

Just-in-Time:面向扩散转换器的训练-free 空间加速

计算机视觉与模式识别 2026-03-19 v2

摘要

扩散转换器已在图像合成方面树立了新的研究前沿,但迭代采样的高计算成本严重阻碍了其实际部署。虽然现有加速方法常聚焦于时域,但忽略了生成过程中固有的显著空间冗余——即全局结构在细粒度细节形成之前便已显现。对所有空间区域均匀的计算处理方式代表着关键性的低效。在本文中,我们引入Just-in-Time (JiT),一种新型训练-free框架,旨在通过空间域加速来解决此挑战。JiT构建一个在稀疏锚定token子集上进行计算,以驱动完整潜在状态演化的空间逼近生成常微分方程(ODE)。为确保在新token被加入以扩展潜在状态维度时实现无缝过渡,我们提出了一种确定性微流动力学—a种简单且有效的有限时间ODE,旨在维持结构一致性和统计正确性。在最新状态的FLUX.1-dev模型上的广泛实验表明,JiT实现了最高达7倍的加速,几乎不损失性能,显著优于现有加速方法,树立了推理速度与生成保真度之间新型且优越的权衡。

关键词

引用

@article{arxiv.2603.10744,
  title  = {Just-in-Time: Training-Free Spatial Acceleration for Diffusion Transformers},
  author = {Wenhao Sun and Ji Li and Zhaoqiang Liu},
  journal= {arXiv preprint arXiv:2603.10744},
  year   = {2026}
}

备注

Accepted by CVPR2026. Project Page: https://wenhao-sun77.github.io/JiT/