无真实世界三维监督的手中物体三维重建

先前从单张图像重建手持物体的工作在配有 3D 形状的图像上训练模型。此类数据在真实世界中难以大规模收集。因此，这些方法在面对野外部署环境中的新颖物体时泛化不佳。虽然 3D 监督是一大瓶颈，但存在大量 a) 展示手-物交互的野外部署原始视频数据，以及 b) 合成 3D 形状集合。在本文中，我们提出若干模块，利用来自这些来源的 3D 监督来扩展手持物体重建模型的学习。具体而言，我们从视频中提取多视角 2D 掩码监督，并从形状集合中提取 3D 形状先验。我们使用这些间接的 3D 线索来训练占据网络，从单张 RGB 图像预测物体的 3D 形状。我们在具有挑战性的野外 MOW 数据集物体泛化设定上的实验显示，相较在现有数据集上以 3D 监督训练的模型取得了 11.6% 的相对提升。