用于增强 3D 感知生成对抗网络几何建模的自监督学习
计算机视觉与模式识别
2023-12-20 v1
摘要
3D 感知生成对抗网络 (3D-GANs) 目前在其 3D 几何建模中表现出伪影，例如网格缺陷和孔洞。这些缺陷主要归因于标注 3D 数据的有限可用性，导致令人满意的建模的“有效潜在区域”受限。为了解决这个问题，我们提出了一种自监督学习 (SSL) 技术，作为任何 3D-GAN 的辅助损失量身定制，旨在提高其 3D 几何建模能力。我们的方法开创了 3D-GAN 的反演技术，集成了一个执行自适应空间变化范围操作的编码器。利用这种反演，我们引入了循环生成约束 (CGC)，旨在致密化有效潜在空间。CGC 通过保持相同几何形状的增强局部潜在向量进行操作，并对循环路径输出（具体为生成器-编码器-生成器序列）施加约束。这种 SSL 方法与固有的 GAN 损失无缝集成，确保了现有 3D-GAN 架构的完整性，而无需进行修改。我们通过各种数据集和架构的综合实验验证了我们的方法，突显了其有效性。我们的项目网站：https://3dgan-ssl.github.io
引用
@article{arxiv.2312.11856,
title = {Self-supervised Learning for Enhancing Geometrical Modeling in 3D-Aware Generative Adversarial Network},
author = {Jiarong Guo and Xiaogang Xu and Hengshuang Zhao},
journal= {arXiv preprint arXiv:2312.11856},
year = {2023}
}
备注
13 pages, 12 figures, 6 tables