HIPPo：利用图像到3D先验进行无模型零样体6D姿态估计
计算机视觉与模式识别
2025-02-18 v1 机器人学
摘要
本工作聚焦于机器人应用中的无模型零样体6D物体姿态估计。虽然现有方法可精确估计物体的6D姿态，但它们高度依赖精心挑选的CAD模型或参考图像，其准备工作耗时且费力。此外，在实际场景中，3D模型或参考图像可能无法提前获得，而机器人需要即时反应。在本工作中，我们提出一种名为HIPPo的新框架，通过利用扩散模型中的图像到3D先验，消除对精心挑选的CAD模型和参考图像的需求，从而实现无模型零样体6D姿态估计。具体而言，我们构建了HIPPo Dreamer，一个基于多视图扩散模型和3D重建基础模型的快速图像到网格模型。我们的HIPPo Dreamer能够在仅凭一眼即可在几秒钟内生成任何未见物体的3D网格。随着获取更多观察，我们提出持续优化扩散先验网格模型，通过联合优化物体几何和外观实现。这是通过一种测量引导的方案逐步用更可靠的在线观察取代合理的扩散先验所实现的。因此，HIPPo能够即时估计和跟踪 novel 物体的6D姿态，并为即时机器人应用维护完整的网格。广泛的实验表明，在参考图像有限的条件下，HIPPo在6D物体姿态估计方面超过了最先进的方法。
引用
@article{arxiv.2502.10606,
title = {HIPPo: Harnessing Image-to-3D Priors for Model-free Zero-shot 6D Pose Estimation},
author = {Yibo Liu and Zhaodong Jiang and Binbin Xu and Guile Wu and Yuan Ren and Tongtong Cao and Bingbing Liu and Rui Heng Yang and Amir Rasouli and Jinjun Shan},
journal= {arXiv preprint arXiv:2502.10606},
year = {2025}
}