特征空间中用于3D形状重建与补全的隐式函数

尽管许多工作聚焦于从图像进行3D重建，本文关注从多种在某方面存在缺陷的3D输入进行3D形状重建与补全：低分辨率与高分辨率体素、稀疏与稠密点云、完整或不完整。处理此类3D输入是日益重要的问题，因为它们是愈发普及的3D扫描仪的输出，也是3D计算机视觉算法的中间输出。近来，学习型隐式函数展现出巨大前景，因其产生连续重建。然而，我们识别出从3D输入重建的两个局限：1）输入数据中存在的细节未被保留；2）对关节化人体的重建较差。为此，我们提出隐式特征网络（IF-Nets），其提供连续输出，可处理多种拓扑，并为缺失或稀疏输入数据补全形状，保留近期学习型隐式函数的优良特性，但关键还能在输入数据存在细节时保留细节，并可重建关节化人体。我们的工作与先前工作在两个关键方面不同。首先，不同于使用单一向量编码3D形状，我们提取一个可学习的3维多尺度深度特征张量，其与嵌入形状的原始欧几里得空间对齐。其次，不同于直接分类x-y-z点坐标，我们分类从张量在连续查询点提取的深度特征。我们展示这迫使模型基于全局与局部形状结构做决策，而非基于在欧几里得变换下任意的点坐标。实验表明IF-Nets在ShapeNet的3D物体重建中明显优于先前工作，并获得显著更精确的3D人体重建。