Sparc3D：用于高分辨率三维形状建模的稀疏表示与构建

由于网格数据的非结构化特性和密集体积网格的立方复杂性，高保真三维物体合成仍然比二维图像生成更具挑战性。现有的两阶段流水线——使用 VAE（采用二维或三维监督）压缩网格，随后进行潜在扩散采样——通常由于低效的表示和 VAE 中引入的模态不匹配而遭受严重的细节丢失。我们引入了 Sparc3D，这是一个统一框架，它结合了稀疏可变形行进立方体表示 Sparcubes 与新型编码器 Sparconv-VAE。Sparcubes 通过将有符号距离场和变形场散射到稀疏立方体上，将原始网格转换为具有任意拓扑结构的高分辨率 ($1024^3$) 表面，从而允许可微优化。Sparconv-VAE 是第一个完全基于稀疏卷积网络构建的模态一致变分自编码器，能够实现高效且近乎无损的三维重建，适用于通过潜在扩散进行高分辨率生成建模。Sparc3D 在包括开放表面、断开组件和复杂几何形状在内的具有挑战性的输入上实现了最先进的重建保真度。它保留了细粒度的形状细节，降低了训练和推理成本，并与潜在扩散模型自然集成，以实现可扩展的高分辨率三维生成。