面向零样本图像编辑的迭代流形约束探索

编辑可行性和保真度是文本驱动图像编辑的两个基本需求，这要求编辑区域与目标提示对齐，而其余区域单独保持不变。当前 cutting-edge 编辑方法通常遵循“反转后编辑”管道，其中输入图像被反转为近似高斯噪声${z}_T$，基于此进行采样过程以使用目标提示。然而，我们认为以近似高斯噪声作为进一步编辑的枢轴并非好的选择，因为这会带来大量保真度错误。我们通过 pilot 分析发现，中间反转潜变量在编辑可行性和保真度之间取得更好的平衡优于完全反转的${z}_T$。基于此，我们提出一种新颖的零样本编辑范例，称为ZZEdit，首先定位一个合格的中间反转潜变量，标记为${z}_p$，作为更好的编辑枢轴，既满足编辑需求又保留结构。随后，设计一种ZigZag过程来交替执行去噪和反转，逐步将目标引导注入${z}_p$，同时保持${z}_p$的结构信息。之后，在目标提示下执行纯采样过程，以实现反转和去噪的相同步数。本质上，ZZEdit在${M}_{p}$和${M}_{p-1}$的流形之间执行迭代流形约束，从而减少保真度错误。广泛的实验结果突显了ZZEdit在多样化图像编辑场景中相较于“反转后编辑”管道的有效性。