用于域反演的梯度调整网络
计算机视觉与模式识别
2023-02-23 v1 图像与视频处理
摘要
StyleGAN2 被证明是一个支持语义编辑的强大图像生成引擎。然而，为了操控真实世界图像，首先需能检索其在 StyleGAN 潜空间中对应的潜表示，该表示被解码为尽可能接近目标图像的图像。对于许多真实世界图像，潜表示并不存在，这就需要调整生成器网络。我们提出了一种逐图像优化方法，其调整 StyleGAN2 生成器，使其对生成器权重实现局部编辑，从而在保持输入潜表示张量与输出图像之间其余映射相对完整的同时，达到近乎完美的反演且仍允许图像编辑。该方法基于对一组浅层更新网络（又称梯度修改模块）的一次性训练，这些网络修改生成器的各层。训练完梯度修改模块后，通过将这类网络对原始参数单次应用，获得修改后的生成器，且生成器先前的编辑能力得以保持。我们的实验显示，在这一非常活跃的领域，相对于当前最优方法存在显著的性能差距。我们的代码可在 \url{https://github.com/sheffier/gani} 获取。
引用
@article{arxiv.2302.11413,
title = {Gradient Adjusting Networks for Domain Inversion},
author = {Erez Sheffi and Michael Rotman and Lior Wolf},
journal= {arXiv preprint arXiv:2302.11413},
year = {2023}
}