结合姿态优化的 3D GAN 反演
计算机视觉与模式识别
2022-10-18 v2
摘要
随着近期基于 NeRF 的 3D 感知 GAN 质量的进展，将图像投影到这些 3D 感知 GAN 的潜空间中，相比 2D GAN 反演具有天然优势：它不仅允许对投影图像进行多视角一致的编辑，还能在仅给定单张图像时实现 3D 重建与新视角合成。然而，显式的视角控制成为 3D GAN 反演过程中的主要障碍，因为必须同时优化相机位姿与潜代码以重建给定图像。大多数探索 3D 感知 GAN 潜空间的工作依赖于真实相机视角或可形变 3D 模型，从而限制了其适用性。本工作中，我们引入一种可泛化的 3D GAN 反演方法，同时推断相机视角与潜代码，以实现多视角一致的语义图像编辑。我们方法的关键在于利用预训练估计器获得更好的初始化，并利用由 NeRF 参数计算出的逐像素深度来更好地重建给定图像。我们在图像重建与编辑上进行了大量定量与定性实验，并进一步与基于 2D GAN 的编辑进行比较，以展示利用 3D GAN 潜空间的优势。更多结果与可视化见 https://3dgan-inversion.github.io 。
引用
@article{arxiv.2210.07301,
title = {3D GAN Inversion with Pose Optimization},
author = {Jaehoon Ko and Kyusun Cho and Daewon Choi and Kwangrok Ryoo and Seungryong Kim},
journal= {arXiv preprint arXiv:2210.07301},
year = {2022}
}
备注
Project Page: https://3dgan-inversion.github.io