UVGS：利用UV映射重塑非结构化3D高斯泼溅
计算机视觉与模式识别
2025-12-03 v4
摘要
3D高斯泼溅（3DGS）在建模3D物体和场景方面展现了卓越的质量。然而，由于其离散、非结构化和排列不变的性质，生成3DGS仍然具有挑战性。在这项工作中，我们提出了一种简单而有效的方法来克服这些挑战。我们利用球面映射将3DGS转换为结构化的2D表示，称为UVGS。UVGS可以被视为多通道图像，其特征维度是高斯属性（如位置、尺度、颜色、不透明度和旋转）的串联。我们进一步发现，使用精心设计的多分支网络，可以将这些异构特征压缩到一个低维（例如，3通道）的共享特征空间中。压缩后的UVGS可以像典型的RGB图像一样处理。值得注意的是，我们发现用潜在扩散模型训练的典型VAE可以直接泛化到这种新表示，无需额外训练。我们的新颖表示使得利用基础2D模型（如扩散模型）直接建模3DGS变得轻而易举。此外，可以简单地增加2D UV分辨率以容纳更多高斯，使得UVGS与典型的3D骨干网络相比成为一种可扩展的解决方案。这种方法通过固有地利用已经发展起来的优越2D生成能力，立即解锁了3DGS的各种新颖生成应用。在我们的实验中，我们展示了基于扩散模型的3DGS的各种无条件、条件生成和修复应用，这些应用在以前并非易事。
引用
@article{arxiv.2502.01846,
title = {UVGS: Reimagining Unstructured 3D Gaussian Splatting using UV Mapping},
author = {Aashish Rai and Dilin Wang and Mihir Jain and Nikolaos Sarafianos and Kefan Chen and Srinath Sridhar and Aayush Prakash},
journal= {arXiv preprint arXiv:2502.01846},
year = {2025}
}
备注
https://ivl.cs.brown.edu/uvgs