基于 RGBN-Volume 高斯重建模型的单图像高保真 3D 对象生成
计算机视觉与模式识别
2025-04-03 v1
摘要
最近，单视图 3D 生成通过高斯溅射 (Gaussian splatting) 迅速发展。它们从由预训练的多视角扩散 (MVD) 模型生成的 2D RGB 图像中学习 3D 高斯，并在单张图像上展示了 3D 生成的前景潜力。尽管目前已取得的进展，仍由于 2D 图像中的几何歧义以及 3D 高斯的结构不足，导致生成的 3D 对象失真和模糊。本文通过 GS-RGBN，一种新的 RGBN-volume 高斯重建模型，用于生成单视图图像的高保真 3D 对象。我们的关键洞察是，结构化的 3D 表示可以同时缓解上述两个问题。为此，我们提出了一种新型的混合体素-高斯表示，其中 3D 体素表示包含显式的 3D 几何信息，消除了 2D 图像中的几何歧义。它还在学习过程中对高斯进行结构化处理，以便优化倾向于找到更好的局部最优解。我们的 3D 体素表示通过一个融合模块获得，该模块将 RGB 特征与表面法线特征进行对齐，后者均可从 2D 图像中估计。大量实验表明，我们的方法在高质量重建结果、鲁棒性泛化和良好效率方面均优于先前方法。
引用
@article{arxiv.2504.01512,
title = {High-fidelity 3D Object Generation from Single Image with RGBN-Volume Gaussian Reconstruction Model},
author = {Yiyang Shen and Kun Zhou and He Wang and Yin Yang and Tianjia Shao},
journal= {arXiv preprint arXiv:2504.01512},
year = {2025}
}
备注
12 pages