面向3D生成模型的马赛克符号距离函数
计算机视觉与模式识别
2024-04-25 v2 图形学
摘要
当前用于三维形状的扩散或流式生成模型分为两类：从预训练的二维图像扩散模型蒸馏，以及直接在三维形状上训练。当在三维形状上训练扩散或流模型时，一个关键的设计选择是形状表示。有效的形状表示需要遵循三个设计原则：应允许将大规模三维数据集高效转换为该表示形式；应在逼近能力与参数数量之间提供良好权衡；应具有与现有强大神经架构兼容的简单张量形式。虽然标准的三维形状表示（如体素网格和点云）不能同时满足所有这些原则，但本文倡导一种能够满足的新表示。我们引入马赛克符号距离函数（M-SDF）：一种简单的三维形状表示，通过使用分布在形状边界附近的一组局部网格来近似给定形状的符号距离函数。M-SDF表示对每个形状计算快速，易于并行化；参数高效，因为它仅覆盖形状边界周围的空间；并且具有简单的矩阵形式，与基于Transformer的架构兼容。我们通过使用M-SDF表示训练三维生成流模型（包括使用3D Warehouse数据集进行类别条件生成，以及使用约60万个描述-形状对的数据集进行文本到三维生成）来证明其有效性。
引用
@article{arxiv.2312.09222,
title = {Mosaic-SDF for 3D Generative Models},
author = {Lior Yariv and Omri Puny and Natalia Neverova and Oran Gafni and Yaron Lipman},
journal= {arXiv preprint arXiv:2312.09222},
year = {2024}
}
备注
More results and details can be found at https://lioryariv.github.io/msdf