Im2Struct：从单张 RGB 图像恢复 3D 形状结构

我们提出从单张 RGB 图像中恢复 3D 形状结构，其中结构是指由长方体表示的形状部件以及包含连接性和对称性的部件关系。给定一张描绘了物体的单张 2D 图像，我们的目标是自动恢复物体部件的长方体结构及其相互关系。我们开发了一个由 2D 图像结构解析和长方体层次结构恢复组成的卷积递归自编码器。该编码器由一个以形状轮廓估计为任务训练的多尺度卷积网络实现，从而学习辨别各种形式和尺度的物体结构。解码器融合了结构解析网络和原始图像的特征，并递归地解码长方体层次结构。由于解码器网络被学习为显式地恢复包括连接性和对称性在内的部件关系，因此可以确保部件结构恢复的合理性与通用性。这两个网络使用轮廓掩码与长方体结构对的训练数据进行联合训练。此类数据对通过渲染带有部件分割的现有 3D CAD 模型生成。我们的方法实现了从单视图 2D 图像中前所未有地忠实且细致地恢复各种 3D 部件结构。我们展示了我们方法的两个应用，包括从单视图图像重建的 3D 体积的结构引导补全以及 2D 图像的结构感知交互式编辑。