SYM3D：学习对称三平面以提升GAN的三维感知能力
计算机视觉与模式识别
2024-08-15 v2
摘要
尽管三维感知的生成对抗网络（GAN）日益成功，它们可以通过二维图像训练生成高质量的三维资产，但仍然依赖带有相机标注的多视角图像来从所有视角合成足够的细节。然而，经过标定的多视角图像数据集的稀缺性（尤其是与单视角图像相比）限制了三维GAN的潜力。此外，虽然通过相机分布约束绕过相机姿态标注减少了对精确相机参数的依赖，但仍难以生成一致朝向的三维资产。为此，我们提出了SYM3D，一种新颖的三维感知GAN，旨在利用自然和人造物体中普遍存在的反射对称结构，并结合所提出的视角感知空间注意力机制来学习三维表示。我们在合成数据集（ShapeNet椅子、汽车和飞机）和真实世界数据集（ABO-Chair）上评估了SYM3D，证明了即使在仅使用单视角图像训练时，它也能在捕捉精细几何和纹理方面表现出优越性能。最后，我们展示了在文本到三维任务中引入对称正则化有助于减少三维资产建模中的伪影。项目页面见\url{https://jingyang2017.github.io/sym3d.github.io/}。
引用
@article{arxiv.2406.06432,
title = {SYM3D: Learning Symmetric Triplanes for Better 3D-Awareness of GANs},
author = {Jing Yang and Kyle Fogarty and Fangcheng Zhong and Cengiz Oztireli},
journal= {arXiv preprint arXiv:2406.06432},
year = {2024}
}
备注
11