中文

NeRF-Feat:基于特征渲染的6维物体姿态估计

计算机视觉与模式识别 2024-06-21 v1

摘要

物体姿态估计是机器人抓取和增强现实中的关键组件。基于学习的方法通常需要来自高度精确CAD模型的训练数据或使用复杂 setup 获取的标记训练数据。我们通过弱标记数据估计姿态且无需已知CAD模型来解决此问题。我们提出使用NeRF在没有已知CAD模型的情况下学习物体形状的隐式表示,随后用于学习与CNN联合的视图不变特征,并通过对比损失训练。虽然NeRF有助于学习一致性强的特征,CNN确保所学特征遵循对称性。在推断过程中,使用CNN预测视图不变特征,可用于与NeRF中的隐式3D模型建立对应关系。随后利用这些对应关系估计相对于NeRF参考系中的姿态。我们的方法还能处理对称物体,而其他类似训练 setup 的方法无法做到。具体而言,我们使用NeRF学习视点不变且判别性强的特征,用于姿态估计。我们在LM、LM-Occlusion和T-Less数据集上进行评估,即使使用弱标记数据也达到了基准准确度。

关键词

引用

@article{arxiv.2406.13796,
  title  = {NeRF-Feat: 6D Object Pose Estimation using Feature Rendering},
  author = {Shishir Reddy Vutukur and Heike Brock and Benjamin Busam and Tolga Birdal and Andreas Hutter and Slobodan Ilic},
  journal= {arXiv preprint arXiv:2406.13796},
  year   = {2024}
}

备注

3DV 2024