半弱监督下的物体运动学运动预测

给定一个 3D 物体，运动学运动预测旨在识别可动部件及相应的运动参数。由于 3D 物体在拓扑结构和几何细节上均存在巨大差异，这仍是一项具有挑战性的任务，且大规模标注数据的缺乏也制约了基于深度学习方法的表现。本文中，我们以半弱监督方式处理物体运动学运动预测问题。我们的关键观察有两点。第一，尽管具有完全标注运动标签的 3D 数据集有限，但现有大规模数据集与方法可用于物体部件语义分割。第二，语义部件分割与可动部件分割并非总是一致，但有可能从底层 3D 结构中检测出可动部件。为此，我们提出一个图神经网络来学习层次化部件级分割与可动部件参数之间的映射，并基于几何对齐进一步细化。该网络可先在具有完全标注可动性信息的 PartNet-Mobility 数据集上训练，再应用于具有细粒度与层次化部件级分割的 PartNet 数据集。网络预测产生大规模带有伪标注可动性信息的 3D 物体，并可进一步用于基于已有分割的弱监督学习。我们的实验表明，对于先前为 3D 部分扫描上的运动学运动预测设计的方法，扩充数据带来了显著的性能提升。