面向条件GAN与扩散模型的高效空间稀疏推断

在图像编辑过程中，现有深度生成模型倾向于从头重新合成整个输出，包括未编辑区域。这导致大量计算浪费，尤其对于微小编辑操作。本工作中，我们提出空间稀疏推断（SSI），一种通用技术，可有选择地对编辑区域进行计算，并加速各类生成模型，包括条件GAN与扩散模型。我们的核心观察是用户倾向于逐步编辑输入图像，这促使我们缓存并重用原图像的特征图。给定编辑后的图像，我们稀疏地将卷积滤波器应用于编辑区域，同时对未编辑区域重用缓存特征。基于我们的算法，我们进一步提出稀疏增量生成引擎（SIGE），将计算缩减转化为现成硬件上的延迟缩减。在约$1\%$区域编辑下，SIGE在NVIDIA RTX 3090上加速DDPM达$3.0\times$，在Apple M1 Pro GPU上达$4.6\times$；在3090上加速Stable Diffusion达$7.2\times$；在3090上加速GauGAN达$5.6\times$，在M1 Pro GPU上达$5.2\times$。相比会议版本，我们将SIGE扩展至支持注意力层并应用于Stable Diffusion。此外，我们添加了对Apple M1 Pro GPU的支持，并包含了更多大范围与连续编辑的结果。