HyperEditor：通过超网络在图像编辑中实现真实性与跨域能力
计算机视觉与模式识别
2023-12-22 v1
摘要
在保持真实性的同时编辑真实图像并实现跨域编辑仍然是一个挑战。最近的研究侧重于将真实图像转换为潜在代码，并通过操纵这些代码来完成图像编辑。然而，仅操纵潜在代码会将编辑后的图像限制在生成器的图像域内，阻碍实现多样化的编辑目标。为此，我们提出了一种名为 HyperEditor 的创新图像编辑方法，该方法利用超网络生成的权重因子重新分配预训练 StyleGAN2 生成器的权重。在 CLIP 的跨模态图像 - 文本语义对齐的指导下，这种创新方法使我们能够同时完成真实的属性编辑和跨域风格迁移，这是以前的方法未能实现的能力。此外，我们确定仅修改生成器中特定层的权重即可产生等效的编辑结果。因此，我们引入了一个自适应层选择器，使我们的超网络能够自主识别需要输出权重因子的层，从而进一步提高超网络的效率。在大量具有挑战性的数据集上进行的广泛实验证明了我们方法的有效性。
引用
@article{arxiv.2312.13537,
title = {HyperEditor: Achieving Both Authenticity and Cross-Domain Capability in Image Editing via Hypernetworks},
author = {Hai Zhang and Chunwei Wu and Guitao Cao and Hailing Wang and Wenming Cao},
journal= {arXiv preprint arXiv:2312.13537},
year = {2023}
}
备注
Accepted by AAAI2024