PyTorchGeoNodes：用于3D形状重建的可微分形状程序
计算机视觉与模式识别
2025-04-07 v2 机器学习
摘要
我们提出了PyTorchGeoNodes，一个用于从图像重建3D对象及其参数的可微分模块，利用可解释的形状程序。与传统CAD模型检索相比，形状程序允许对语义参数进行推理、编辑和低内存占用。尽管它们具有巨大的潜力，但形状程序在3D场景理解方面鲜有被关注。我们的关键贡献是通过解析形状程序（更准确地说，设计于Blender中的程序化模型）转换为高效的PyTorch代码，以启用基于梯度的优化。尽管PyTorchGeoNodes有许多可能的应用，但我们展示了将其与遗传算法结合使用，以优化3D重建和3D对象参数理解中离散和连续形状程序参数的首选方法。我们的模块化框架可以进一步集成到其他重建算法中，我们演示了这种集成以启用程序化高斯溅射。我们在ScanNet数据集上的实验表明，我们的方法在实现准确重建的同时，实现了迄今为止未见的3D场景理解水平。
引用
@article{arxiv.2404.10620,
title = {PyTorchGeoNodes: Enabling Differentiable Shape Programs for 3D Shape Reconstruction},
author = {Sinisa Stekovic and Arslan Artykov and Stefan Ainetter and Mattia D'Urso and Friedrich Fraundorfer},
journal= {arXiv preprint arXiv:2404.10620},
year = {2025}
}
备注
Accepted at CVPR