从基础潜空间视角探究 StyleGAN 反演用于图像编辑

通过 StyleGAN 进行的 GAN 反演与编辑将输入图像映射到嵌入空间（$\mathcal{W}$、$\mathcal{W^+}$ 和 $\mathcal{F}$）中，以同时保持图像保真度和有意义的操控。从 StyleGAN 中的潜空间 $\mathcal{W}$ 到扩展潜空间 $\mathcal{W^+}$ 再到特征空间 $\mathcal{F}$，GAN 反演的可编辑性降低而其重建质量提高。近期的 GAN 反演方法通常探索 $\mathcal{W^+}$ 和 $\mathcal{F}$ 而非 $\mathcal{W}$，以在保持可编辑性的同时提高重建保真度。由于 $\mathcal{W^+}$ 和 $\mathcal{F}$ 派生自本质上作为 StyleGAN 基础潜空间的 $\mathcal{W}$，这些聚焦于 $\mathcal{W^+}$ 和 $\mathcal{F}$ 空间的 GAN 反演方法可通过回溯到 $\mathcal{W}$ 而得以改进。在本工作中，我们提出首先获得基础潜空间 $\mathcal{W}$ 中的精确潜码。我们引入对比学习来对齐 $\mathcal{W}$ 与图像空间，以发现精确潜码。然后，我们利用一个交叉注意力编码器将所获得的 $\mathcal{W}$ 中的潜码相应地转换为 $\mathcal{W^+}$ 和 $\mathcal{F}$。我们的实验表明，我们对基础潜空间 $\mathcal{W}$ 的探索提升了 $\mathcal{W^+}$ 中潜码与 $\mathcal{F}$ 中特征的表示能力，从而在标准基准上取得了最先进的重建保真度和可编辑性结果。项目页面：https://kumapowerliu.github.io/CLCAE。