基于轴点顶点的通用3D网格生成框架PivotMesh

当前3D生成模型面临紧凑且细节精确的3D网格生成难题。与从神经表示中提取稠密网格不同，近期一些研究尝试建模本源网格分布（即三角形集合），生成的人造网格更紧凑。然而，由于网格拓扑的复杂性和多样性，这些方法通常仅限于特定类别的小数据集，难以扩展。本文引入了通用且可扩展的网格生成框架PivotMesh，首次尝试将本源网格生成扩展至大规模数据集。我们采用基于Transformer的自编码器将网格编码为离散标记，并从面向顶点的层次结构解码。随后，为建模复杂拓扑，我们首先学习生成轴点顶点作为粗糙网格表示，再通过相同的自回归Transformer生成完整网格标记。这相较于直接建模网格分布降低了难度，进而提高了模型的可控性。PivotMesh通过有效学习小数据集（如ShapeNet）和大规模数据集（如Objaverse和Objaverse-xl），展示了其灵活性。大量实验表明，PivotMesh能在各种类别间生成紧凑且锐利的3D网格，凸显其在本源网格建模中的巨大潜力。