演化式缓存加速您的通用扩散模型

扩散式图像生成模型在生成高质量合成内容方面表现出色，但在推理速度和计算效率方面存在不足。以往工作尝试通过在扩散变换器中跨推理步骤缓存和重用特征来缓解此问题，但这些方法往往依赖刚性启发式，导致加速有限或在不同架构之间泛化性差。我们提出演化式缓存加速扩散模型（ECAD），一种基于遗传算法的方法，通过仅使用小量校准提示，学习高效的、针对每个模型的缓存方案，形成帕累托前沿。ECAD无需修改网络参数或参考图像，即可实现显著的推理加速，使质量-延迟权衡具备细粒度控制，并能无缝适应不同的扩散模型。值得注意的是，ECAD所学习的缓存方案能够有效泛化到校准期间未见过的分辨率和模型变体。我们在PixArt-alpha、PixArt-Sigma和FLUX.1-dev上进行评估，使用多个指标（FID、CLIP、Image Reward）和多样化基准（COCO、MJHQ-30k、PartiPrompts），展示了相对于先前方法的持续改进。在PixArt-alpha上，ECAD识别的方案使前一最先进方法的COCO FID提升4.47，推理加速从2.35倍提升至2.58倍。我们的结果表明，ECAD是一种可扩展且具通用性的加速扩散推理的方法。项目页面和代码可在 https://research.aniaggarwal.com/ecad 查找。