WarpGAN：基于变形引导的 3D GAN 逆变与风格化新视角填充
计算机视觉与模式识别
2025-11-12 v1
摘要
3D GAN 逆变将单个图像投影到预训练 3D GAN 的潜在空间，以实现单次 novel view 合成。这要求 visible 区域具有高保真度，同时要求 occluded 区域在真实性和多视角一致性方面表现良好。然而，现有方法侧重于 visible 区域的重建，而 occluded 区域的生成仅依赖 3D GAN 的生成先验，导致生成的 occluded 区域质量较差，由于低比特率潜在代码造成信息损失。为此，我们引入变形与填充策略，将图像填充集成到 3D GAN 逆变中，提出一种新型 3D GAN 逆变方法 WarpGAN。具体而言，我们首先采用 3D GAN 逆变编码器将单个视图图像投影到潜在代码，作为 3D GAN 的输入。随后，我们利用 3D GAN 生成的深度图对 novel view 进行变形。最后，我们开发了一种新的 SVINet，利用对称先验和多视角图像对应关系（针对相同的潜在代码），对变形后图像中的 occluded 区域进行填充。定量和定性实验表明，我们的方法在多个最先进方法中 consistently 取得优异表现。
引用
@article{arxiv.2511.08178,
title = {WarpGAN: Warping-Guided 3D GAN Inversion with Style-Based Novel View Inpainting},
author = {Kaitao Huang and Yan Yan and Jing-Hao Xue and Hanzi Wang},
journal= {arXiv preprint arXiv:2511.08178},
year = {2025}
}