用于 GAN Inversion 的空间上下文差异信息补偿
计算机视觉与模式识别
2023-12-13 v1
摘要
现有的大多数 GAN inversion 方法要么实现了精确重建但缺乏可编辑性，要么提供了强大的可编辑性却牺牲了保真度。因此，如何平衡失真与可编辑性的权衡是 GAN inversion 面临的重大挑战。为应对这一挑战，我们引入了一种新颖的基于空间上下文差异信息补偿的 GAN inversion 方法（SDIC），它由差异信息预测网络（DIPN）和差异信息补偿网络（DICN）组成。SDIC 遵循“补偿后编辑”范式，成功弥合了原始图像与重建/编辑图像之间在图像细节上的差距。一方面，DIPN 编码原始图像与初始重建图像的多级空间上下文信息，随后利用两个沙漏模块预测一张空间上下文引导的差异图。由此，学习到了一张可靠的差异图，该图建模了上下文关系并捕获了细粒度的图像细节。另一方面，DICN 通过不同的变换将预测的差异信息整合到隐编码和 GAN 生成器中，生成高质量的重建/编辑图像。这有效补偿了 GAN inversion 过程中图像细节的损失。定量与定性实验均表明，我们提出的方法在图像反演与编辑任务中均以快速推理速度实现了优异的失真与可编辑性权衡。
引用
@article{arxiv.2312.07079,
title = {Spatial-Contextual Discrepancy Information Compensation for GAN Inversion},
author = {Ziqiang Zhang and Yan Yan and Jing-Hao Xue and Hanzi Wang},
journal= {arXiv preprint arXiv:2312.07079},
year = {2023}
}