SkeletonNet：一种从 RGB 图像学习物体表面网格重建的拓扑保持方案

本文聚焦于从 RGB 图像学习三维物体表面重建这一挑战性任务。现有方法通过使用不同的表面表示取得了不同程度的成功。然而，它们各有缺陷，且无法恰当重建复杂拓扑的表面形状，这可归因于其学习框架中缺乏对拓扑结构的约束。为此，我们提出学习并利用拓扑保持的骨架形状表示，以辅助从 RGB 图像进行物体表面重建的下游任务。在技术上，我们提出了新颖的 SkeletonNet 设计，其通过骨架点集的桥接学习来学习骨架的体素表示，其中我们使用并行解码器分别负责学习一维骨架曲线与二维骨架曲面上的点，以及用于精细化高分辨率骨架体的全局引导子体合成高效模块；我们提出了可微的 Point2Voxel 层以使 SkeletonNet 端到端且可训练。利用学习到的骨架体，我们提出了两种模型：基于骨架的图卷积神经网络 (SkeGCNN) 与骨架正则化深度隐式表面网络 (SkeDISN)，它们分别建立于现有显式网格形变与隐式场学习框架之上并对其进行改进，用于下游表面重建任务。我们进行了充分的实验以验证所提 SkeletonNet 的有效性。SkeGCNN 与 SkeDISN 也优于现有方法，且在不同指标度量下各有优势。在泛化任务设定下的额外结果进一步证明了我们所提方法的实用性。我们已将实现代码与 ShapeNet-Skeleton 数据集公开于 https://github.com/tangjiapeng/SkeletonNet。