RegionE：面向高效图像编辑的自适应区域感知生成

最近，基于指令的数据驱动图像编辑（IIE）受到广泛关注。在实际应用中，IIE 通常只修改图像的特定区域，而其余区域基本保持不变。尽管这两种区域在生成难度和计算冗余方面存在显著差异，但现有的 IIE 模型未能加以区分，仍在整个图像上应用统一的生成过程。这促使我们提出RegionE，一种自适应、区域感知的生成框架，用于加速 IIE 任务而无需额外训练。具体而言，RegionE 框架包含三个主要组件：1）自适应区域分区。我们观察到未编辑区域的轨迹为直线，允许将多步去噪预测推断为单一步骤。因此，在早期去噪阶段，我们根据最终估计结果与参考图像之间的差异，将图像划分为已编辑和未编辑区域。2）区域感知生成。在区分区域后，我们用单步预测替代未编辑区域的多步去噪。对于已编辑区域，轨迹为曲线，需进行局部迭代去噪。为提高局部迭代生成的效率和质量，我们提出了区域指令 KV 缓存，该缓存在减少计算成本的同时Incorporate了全局信息。3）自适应速度衰减缓存。观察到已编辑区域中相邻时间步具有强烈的速度相似性，我们进一步提出了自适应速度衰减缓存以加速局部去噪过程。我们将RegionE 应用于最先进的 IIE 基础模型，包括 Step1X-Edit、FLUX.1 Kontext 和 Qwen-Image-Edit。RegionE 实现了 2.57、2.41 和 2.06 的加速因子。通过 GPT-4o 评估确认，语义和感知保真度得不到良好保留。