GSGAN：基于对抗学习的 3D 高斯溅写的层次生成
计算机视觉与模式识别
2024-11-18 v2
摘要
目前 3D 生成式对抗网络（3D GAN）的大多数进展依赖于基于光线投射的体渲染，导致渲染成本高昂。一个有前景的替代方案是基于光栅化的 3D 高斯溅写（3D-GS），其提供更快的渲染速度和显式的 3D 表示。在本文中，我们将高斯作为 3D 表示来实现 3D GAN，利用其高效且显式的特性。然而，在对抗框架下，我们注意到，简单的生成器架构存在训练不稳定且缺乏调整高斯尺度的能力。这导致模型发散并出现视觉瑕疵，因为缺乏对高斯初始位置的适当引导以及管理其尺度自适应的密度化技术。为此，我们引入一种具有层次多尺度高斯表示的生成器架构，以有效正则化生成高斯的位置和尺度。具体而言，我们设计一种高斯层次结构，使得较粗尺度的高斯参数化较细尺度的高斯；较细尺度的高斯位置位于其较粗尺度 counterparts 附近，尺度随着尺度变得更细而单调减小，从而建模 3D 场景的粗糙和细节。实验结果表明，我们的方法在与 SOTA 3D 一致 GAN 相当的 3D 生成能力下，实现了显著更快的渲染速度（快 100 倍）。项目页面: https://hse1032.github.io/gsgan.
引用
@article{arxiv.2406.02968,
title = {GSGAN: Adversarial Learning for Hierarchical Generation of 3D Gaussian Splats},
author = {Sangeek Hyun and Jae-Pil Heo},
journal= {arXiv preprint arXiv:2406.02968},
year = {2024}
}
备注
NeurIPS 2024 / Project page: https://hse1032.github.io/gsgan