NeRF-Feat:基于特征渲染的6维物体姿态估计
计算机视觉与模式识别
2024-06-21 v1
摘要
物体姿态估计是机器人抓取和增强现实中的关键组件。基于学习的方法通常需要来自高度精确CAD模型的训练数据或使用复杂 setup 获取的标记训练数据。我们通过弱标记数据估计姿态且无需已知CAD模型来解决此问题。我们提出使用NeRF在没有已知CAD模型的情况下学习物体形状的隐式表示,随后用于学习与CNN联合的视图不变特征,并通过对比损失训练。虽然NeRF有助于学习一致性强的特征,CNN确保所学特征遵循对称性。在推断过程中,使用CNN预测视图不变特征,可用于与NeRF中的隐式3D模型建立对应关系。随后利用这些对应关系估计相对于NeRF参考系中的姿态。我们的方法还能处理对称物体,而其他类似训练 setup 的方法无法做到。具体而言,我们使用NeRF学习视点不变且判别性强的特征,用于姿态估计。我们在LM、LM-Occlusion和T-Less数据集上进行评估,即使使用弱标记数据也达到了基准准确度。
引用
@article{arxiv.2406.13796,
title = {NeRF-Feat: 6D Object Pose Estimation using Feature Rendering},
author = {Shishir Reddy Vutukur and Heike Brock and Benjamin Busam and Tolga Birdal and Andreas Hutter and Slobodan Ilic},
journal= {arXiv preprint arXiv:2406.13796},
year = {2024}
}
备注
3DV 2024