3D-GOI：面向多面多与多对象编辑的 3D GAN 全逆映射
计算机视觉与模式识别
2024-07-24 v5
摘要
当前 GAN 逆映射方法通常只能编辑单个对象与背景的外观和形状，而忽略空间信息。本工作中，我们提出一种 3D 编辑框架 3D-GOI，以实现对多个对象仿射信息（缩放、平移与旋转）的多面编辑。3D-GOI 通过逆映射由知名 3D GAN GIRAFFE 控制的丰富属性码（对象形状/外观/缩放/旋转/平移、背景形状/外观及相机位姿）来实现复杂编辑功能。精确逆映射所有属性码具有挑战性，3D-GOI 依三个主要步骤解决该挑战。首先，我们在多对象图像中分割对象与背景。其次，我们使用定制的神经逆映射编码器获取各对象的粗粒度码。最后，我们使用轮询优化算法获取精确码以重建图像。据我们所知，3D-GOI 是首个实现多对象多面编辑的框架。定性与定量实验均表明，3D-GOI 在复杂多对象场景中具备灵活多面编辑的巨大潜力。我们的项目与代码发布于 https://3d-goi.github.io 。
引用
@article{arxiv.2311.12050,
title = {3D-GOI: 3D GAN Omni-Inversion for Multifaceted and Multi-object Editing},
author = {Haoran Li and Long Ma and Haolin Shi and Yanbin Hao and Yong Liao and Lechao Cheng and Pengyuan Zhou},
journal= {arXiv preprint arXiv:2311.12050},
year = {2024}
}