NeuSurfEmb：无需 CAD 模型的基于稠密对应的 6D 物体姿态估计完整流程
计算机视觉与模式识别
2025-10-15 v1 机器人学
摘要
当前最先进的 6D 物体姿态估计方法假设 CAD 模型可用，并要求用户手动设置基于物理的渲染（PBR）流程以生成合成训练数据。这两个因素限制了这些方法在真实场景中的应用。在这项工作中，我们提出了一个无需 CAD 模型的流程，仅需少量真实图像作为输入即可训练最先进的姿态估计器。我们的方法基于 NeuS2 物体表示，我们通过一个基于运动恢复结构（SfM）和物体无关分割的半自动流程来学习该表示。我们利用 NeuS2 的新视角合成能力和简单的剪切粘贴增强技术，自动生成逼真的物体渲染图，并用其训练基于稠密对应的 SurfEmb 姿态估计器。我们在 LINEMOD-Occlusion 数据集上评估了我们的方法，广泛研究了其各个组件的影响，并展示了与基于 CAD 模型和 PBR 数据的方法相比具有竞争力的性能。此外，我们在自行采集的真实世界物体上展示了该流程的易用性和有效性，表明我们的方法优于最先进的无 CAD 模型方法，具有更好的精度和对轻微遮挡的鲁棒性。为了让机器人社区能够受益于该系统，我们将在 https://www.github.com/ethz-asl/neusurfemb 公开发布。
引用
@article{arxiv.2407.12207,
title = {NeuSurfEmb: A Complete Pipeline for Dense Correspondence-based 6D Object Pose Estimation without CAD Models},
author = {Francesco Milano and Jen Jen Chung and Hermann Blum and Roland Siegwart and Lionel Ott},
journal= {arXiv preprint arXiv:2407.12207},
year = {2025}
}
备注
Accepted by the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2024. 8 pages, 4 figures, 5 tables