学习推断与执行三维形状程序

人类对三维形状的感知不止将其重建为点集或几何基元组合：我们还轻松理解更高层次的形状结构，如物体部件的重复与反射对称。相比之下，近期三维形状感知的进展更关注低层几何而非这些高层关系。本文提出三维形状程序，将自底向上识别系统与自顶向下符号程序结构相集成，以捕获三维形状的低层几何与高层结构先验。由于真实形状无形状程序标注，我们开发了不仅学习从原始未标注形状推断三维形状程序、也学习执行这些程序以重建形状的神经模块。在初始引导后，我们的端到端可微模型通过自监督方式重建形状来学习三维形状程序。实验表明，我们的模型能准确推断并执行来自各类别的高度复杂形状的三维形状程序。它也可与图像到形状模块集成，从 RGB 图像直接推断三维形状程序，从而得到更准确且更具物理合理性的三维形状重建。