面向3D生成的四面体泼溅

3D表示对于利用2D扩散先验的3D生成的重要进展至关重要。作为一种灵活的表示，NeRF首先被用于3D表示。然而，基于密度的体渲染，它既承受密集的计算开销，又存在不精确的网格提取。使用符号距离场和Marching Tetrahedra，DMTet允许精确的网格提取和实时渲染，但在处理网格中的大型拓扑变化方面受到限制，导致优化挑战。或者，3D高斯泼溅（3DGS）在训练和渲染效率方面受到青睐，但在网格提取方面存在不足。在这项工作中，我们引入了一种新颖的3D表示——四面体泼溅（TeT-Splatting），它同时支持优化过程中的轻松收敛、精确的网格提取和实时渲染。这是通过在结构化的四面体网格内集成基于表面的体渲染，同时保留精确网格提取的期望能力，以及一个基于图块的可微四面体光栅化器来实现的。此外，我们为符号距离场加入了eikonal和法向一致性正则化项，以提高生成质量和稳定性。关键的是，我们的表示可以在不提取网格的情况下进行训练，使优化过程更容易收敛。我们的TeT-Splatting可以轻松集成到现有的3D生成流程中，以及用于纹理优化的多边形网格。大量实验表明，与先前在不同3D生成设置下的替代方案相比，我们的TeT-Splatting在收敛速度、渲染效率和网格质量之间取得了优越的权衡。