利用三维生成对抗网络学习有效的 NeRF 与 SDF 表征以用于三维物体生成
计算机视觉与模式识别
2025-02-06 v2
摘要
我们提出了一种针对 ICCV 2023 OmniObject3D 挑战赛的三维物体生成解决方案。近年来，三维物体生成取得了巨大进展并获得了令人鼓舞的结果，但由于难以生成复杂、带纹理且高保真的结果，它仍是一项具有挑战性的任务。为解决该问题，我们研究了利用三维生成对抗网络（GANs）学习有效的 NeRF（神经辐射场）与 SDF（有符号距离函数）表征以用于三维物体生成。具体而言，受近期工作启发，我们采用高效的几何感知三维 GANs 作为主干，并结合标签嵌入与颜色映射，从而能够在不同分类体系上同时训练模型。随后，通过一个解码器，我们聚合所得特征以生成基于神经辐射场（NeRFs）的表征，用于渲染高保真合成图像。同时，我们优化有符号距离函数（SDFs）以利用三维网格有效表示物体。此外，我们观察到该模型仅需每个类别中每个物体的少量图像即可有效训练，而无需每个物体使用大量图像或每个类别训练一个模型。借助该流程，我们能为三维物体生成优化出一个有效的模型。该解决方案在 ICCV 2023 OmniObject3D 挑战赛中排名前三。
引用
@article{arxiv.2309.16110,
title = {Learning Effective NeRFs and SDFs Representations with 3D Generative Adversarial Networks for 3D Object Generation},
author = {Zheyuan Yang and Yibo Liu and Guile Wu and Tongtong Cao and Yuan Ren and Yang Liu and Bingbing Liu},
journal= {arXiv preprint arXiv:2309.16110},
year = {2025}
}