基于高斯溅射的文本到三维生成
计算机视觉与模式识别
2024-04-03 v4
摘要
将分数蒸馏采样（SDS）与体渲染优化相结合的自动文本到三维生成，在合成逼真三维物体方面取得了显著进展。然而，大多数现有的基于SDS与体渲染的文本到三维方法存在几何不准确的问题，例如Janus问题，因为难以将三维先验显式集成到隐式三维表示中。此外，它们通常耗时较长才能生成具有丰富色彩的精细三维模型。为此，本文提出GSGEN，一种采用近期最先进表示——高斯溅射（Gaussian Splatting）进行文本到三维生成的新型方法。GSGEN旨在利用高斯溅射的显式特性（其支持融入三维先验）来生成高质量三维物体并解决现有缺陷。具体而言，我们的方法采用渐进式优化策略，包括几何优化阶段与外观精炼阶段。在几何优化中，在普通二维SDS优化之外，于三维点云扩散先验下建立粗糙表示，确保合理且三维一致的粗略形状。随后，所得高斯经历迭代外观精炼以丰富纹理细节。在此阶段，我们通过基于紧致性的致密化增加高斯数量，以增强连续性并提升保真度。借助这些设计，我们的方法能生成具有精细细节与准确几何的三维资产。大量评估证明了我们方法的有效性，尤其在捕捉高频分量方面。我们的代码见 https://github.com/gsgen3d/gsgen
引用
@article{arxiv.2309.16585,
title = {Text-to-3D using Gaussian Splatting},
author = {Zilong Chen and Feng Wang and Yikai Wang and Huaping Liu},
journal= {arXiv preprint arXiv:2309.16585},
year = {2024}
}
备注
To appear at CVPR 2024. Project page: https://gsgen3d.github.io. Code: https://github.com/gsgen3d/gsgen