中文

SDF-StyleGAN:基于隐式SDF的StyleGAN用于三维形状生成

计算机视觉与模式识别 2022-06-27 v1

摘要

我们提出一种基于StyleGAN2的深度学习方法用于三维形状生成,称为SDF-StyleGAN,旨在减小生成形状与形状集合之间的视觉与几何差异。我们将StyleGAN2扩展到三维生成,并利用隐式符号距离函数(SDF)作为三维形状表示,引入两种新颖的全局与局部形状判别器来区分真实与虚假的SDF值和梯度,以显著提升形状几何与视觉质量。我们进一步用基于着色图像的Fréchet inception distance(FID)分数补充三维生成模型的评估指标,以更好地评估生成形状的视觉质量与形状分布。形状生成实验证明了SDF-StyleGAN优于最先进方法的性能。我们进一步展示了SDF-StyleGAN在基于GAN inversion的多种任务中的有效性,包括形状重建、基于部分点云的形状补全、单视图图像形状生成和形状风格编辑。大量消融研究验证了我们的框架设计的有效性。我们的代码和训练模型可在 https://github.com/Zhengxinyang/SDF-StyleGAN 获取。

关键词

引用

@article{arxiv.2206.12055,
  title  = {SDF-StyleGAN: Implicit SDF-Based StyleGAN for 3D Shape Generation},
  author = {Xin-Yang Zheng and Yang Liu and Peng-Shuai Wang and Xin Tong},
  journal= {arXiv preprint arXiv:2206.12055},
  year   = {2022}
}

备注

Accepted to Computer Graphics Forum (SGP), 2022