ASGrasp：基于 RGB-D 主动立体相机的泛化透明物体重建与 6-DoF 抓取检测
机器人学
2025-05-27 v2 计算机视觉与模式识别
摘要
在本文中，我们致力于解决透明和镜面物体的抓取问题。该问题具有重要意义，但由于深度相机无法恢复其精确几何形状，在机器人学领域仍未解决。我们首次提出 ASGrasp，一种使用 RGB-D 主动立体相机的 6-DoF 抓取检测网络。ASGrasp 利用双层基于学习的立体网络进行透明物体重建，从而实现在杂乱环境中与材质无关的物体抓取。现有的基于 RGB-D 的抓取检测方法严重依赖深度恢复网络及深度相机生成的深度图质量，与此不同的是，本系统的优势在于能够直接利用原始 IR 和 RGB 图像进行透明物体几何重建。我们基于 GraspNet-1Billion，通过域随机化创建了一个大规模合成数据集。实验表明，ASGrasp 在仿真和真实环境中均能通过无缝的 sim-to-real 迁移，实现超过 90% 的泛化透明物体抓取成功率。本方法显著优于 SOTA 网络，甚至超越了由完美可见点云输入所设定的性能上限。项目页面：https://pku-epic.github.io/ASGrasp
引用
@article{arxiv.2405.05648,
title = {ASGrasp: Generalizable Transparent Object Reconstruction and 6-DoF Grasp Detection from RGB-D Active Stereo Camera},
author = {Jun Shi and Yong A and Yixiang Jin and Dingzhe Li and Haoyu Niu and Zhezhu Jin and He Wang},
journal= {arXiv preprint arXiv:2405.05648},
year = {2025}
}
备注
IEEE International Conference on Robotics and Automation (ICRA), 2024