LatentSwap3D：基于潜在空间发现的 3D 图像 GAN 语义编辑方法
计算机视觉与模式识别
2023-09-06 v2
摘要
3D GAN 能够生成整个 3D 体而非仅 2D 图像的潜在代码。这些模型具备高质量几何与多视图一致性等理想特性，但与 2D 对应模型不同，面向 3D GAN 的复杂语义图像编辑任务仅被部分探索。为解决该问题，我们提出 LatentSwap3D，一种基于潜在空间发现的语义编辑方法，可用于任何现成的 3D 或 2D GAN 模型及任何数据集。LatentSwap3D 依赖于通过使用随机森林分类器进行特征排序来识别对应于特定属性的潜在代码维度。随后，它通过将待编辑图像所选维度与自动选定的参考图像对应维度进行交换来执行编辑。相较于主要为 2D GAN 设计的其他基于潜在空间控制的编辑方法，我们的方法在 3D GAN 上以解耦方式提供显著一致的语义编辑，并在定性与定量上均优于其他方法。我们展示了在七个 3D GAN（pi-GAN、GIRAFFE、StyleSDF、MVCGAN、EG3D、StyleNeRF 和 VolumeGAN）及五个数据集（FFHQ、AFHQ、Cats、MetFaces 和 CompCars）上的结果。
引用
@article{arxiv.2212.01381,
title = {LatentSwap3D: Semantic Edits on 3D Image GANs},
author = {Enis Simsar and Alessio Tonioni and Evin Pınar Örnek and Federico Tombari},
journal= {arXiv preprint arXiv:2212.01381},
year = {2023}
}
备注
The paper has been accepted by ICCV'23 AI3DCC