面向扩散转换器加速的快速-前向缓存 (FORA)
计算机视觉与模式识别
2024-07-02 v1
摘要
扩散转换器 (DiT) 因其可扩展性，已成为生成高质量图像和视频的事实标准，这种可扩展性使得构建更大规模的模型以提升性能成为可能。然而，这些模型规模的增加导致推理成本上升，使其在实时应用中不够具吸引力。我们提出了快速-前向缓存 (FORA)，一种简单而有效的加速 DiT 方法，通过利用扩散过程的重复性来实现加速。FORA 实现了一种缓存机制，用于存储和重用跨去噪步骤中注意力和 MLP 层的中间输出，从而减少计算开销。该方法无需模型重新训练，能无缝集成到现有的基于转换器的扩散模型中。实验表明，FORA 能通过几乎不影响 IS 分数和 FID 等性能指标的几倍速度加速扩散转换器。通过实现在质量权衡最小化的情况下的更快处理，FORA 代表了在实际时应用部署扩散转换器的重要进展。代码将在 https://github.com/prathebaselva/FORA 公开。
引用
@article{arxiv.2407.01425,
title = {FORA: Fast-Forward Caching in Diffusion Transformer Acceleration},
author = {Pratheba Selvaraju and Tianyu Ding and Tianyi Chen and Ilya Zharkov and Luming Liang},
journal= {arXiv preprint arXiv:2407.01425},
year = {2024}
}