ReFlow6D：基于折射中间表示的透明物体6D姿态估计
计算机视觉与模式识别
2024-12-31 v1 机器人学
摘要
透明物体在日常生活中随处可见，其感知和机器人操作具有重要意义。然而，由于其独特的折射和反射特性，在准确估计6D姿态方面 presents a major挑战。为此，我们提出了ReFlow6D—a一种新型透明物体6D姿态估计方法，通过利用折射中间表示来实现。不同于传统方法， our方法利用不受RGB图像空间变化影响且独立于深度信息的特征空间。借鉴图像抠图技术，我们对通过透明物体的光路径变形进行建模，生成一种受光折射引导、独立于观察对象环境的对象特定中间表示。通过将这些中间特征集成到姿态估计网络中，我们展示了ReFlow6D仅使用RGB图像即可实现对透明物体的精确6D姿态估计。 our方法进一步引入了一种新型透明物体混合损失，促进更优质的折射中间特征生成。经验评估表明，我们的方法在TOD和Trans32K-6D数据集上显著优于当前最先进的方法。机器人抓取实验进一步证明，ReFlow6D的姿态估计精度有效转化为实际机器人任务。源码地址：https://github.com/StoicGilgamesh/ReFlow6D 和 https://github.com/StoicGilgamesh/matting_rendering
引用
@article{arxiv.2412.20830,
title = {ReFlow6D: Refraction-Guided Transparent Object 6D Pose Estimation via Intermediate Representation Learning},
author = {Hrishikesh Gupta and Stefan Thalhammer and Jean-Baptiste Weibel and Alexander Haberl and Markus Vincze},
journal= {arXiv preprint arXiv:2412.20830},
year = {2024}
}