什么降低了编辑能力?面向改进 GAN 反演的领域特定混合细化
计算机视觉与模式识别
2023-11-02 v3 人工智能
摘要
近来,反演方法聚焦于生成器中额外的信息(如权重或中间特征)以从高嵌入潜码细化反演与编辑结果。尽管这些技术在重建上获得合理提升,却降低了编辑能力,尤其在复杂图像上(如含遮挡、细致背景与伪影)。一个关键症结在于细化反演结果的同时避免编辑能力退化。为应对该问题,我们提出领域特定混合细化(DHR),其借鉴两类主流细化技术的优劣,在保真度提升的同时维持编辑能力。具体而言,我们首先提出领域特定分割将图像分为两部分:领域内与领域外部分。细化过程旨在维持领域内区域的可编辑性并提升两领域的保真度。我们通过权重调制与特征调制细化这两部分,称之为混合调制细化。我们提出的方法兼容所有潜码嵌入方法。扩展实验表明,我们的方法在真实图像反演与编辑上达到了 state-of-the-art。代码见 https://github.com/caopulan/Domain-Specific_Hybrid_Refinement_Inversion。
引用
@article{arxiv.2301.12141,
title = {What Decreases Editing Capability? Domain-Specific Hybrid Refinement for Improved GAN Inversion},
author = {Pu Cao and Lu Yang and Dongxv Liu and Xiaoya Yang and Tianrui Huang and Qing Song},
journal= {arXiv preprint arXiv:2301.12141},
year = {2023}
}
备注
Accepted by WACV 2024