LRM-Zero：基于合成数据的大规模重建模型训练

我们提出了LRM-Zero，这是一种大规模重建模型（Large Reconstruction Model, LRM），完全基于合成3D数据进行训练，实现了高质量的稀疏视角3D重建。LRM-Zero的核心是我们的程序化3D数据集Zeroverse，该数据集是从简单的原始形状通过随机贴图和数据增强（例如高度场、布尔差分和线框）自动生成的。与以往的3D数据集（例如Objaverse）通常由人工捕获或构建以模拟真实3D数据的不同之处，Zeroverse完全忽略真实全局语义，但丰富了复杂的几何和纹理细节，这些细节在局部上与甚至比真实物体更为精细。我们展示了使用我们完全合成的Zeroverse训练的LRM-Zero能够在真实世界物体的重建中实现高视觉质量，表现与在Objaverse上训练的模型相当。我们还分析了Zeroverse的若干关键设计选择，这些选择为LRM-Zero的能力和训练稳定性贡献。我们的工作表明，3D重建——这是3D视觉中的核心任务——可以potentially无需依赖真实世界物体的语义来实现。Zeroverse的程序化合成代码和交互式可视化可在：https://desaixie.github.io/lrm-zero/获取。