FuseGrasp：雷达-相机融合用于透明物体的机器人抓取

透明物体在日常环境中广泛存在，但其独特的物理属性对相机引导的机器人臂构成重大挑战。当前研究主要依赖仅使用相机的方法，这些方法在如低光环境等亚优条件下常常不堪一击。为此，我们提出FuseGrasp——首个专为增强透明物体操作而设计的雷达-相机融合系统。FuseGrasp利用毫米波（mmWave）信号的弱穿透特性，使透明材料呈现不透明效果，并结合机器人臂的精确运动控制，获取透明物体的高质量mmWave雷达图像。该系统采用精心设计的深度神经网络融合雷达和摄像图像，从而提高深度完成度并提升物体抓取成功率。然而，有效训练FuseGrasp并非易事，因为透明物体的雷达图像数据集有限。我们利用大型RGB-D数据集，提出有效的两阶段训练方法：首先在大型公开RGB-D透明物体数据集上预训练FuseGrasp，然后在自建的小型RGB-D-Radar数据集上微调。此外，作为副产品，FuseGrasp能够确定透明物体的组成材料（如玻璃或塑料），利用mmWave雷达的材料识别能力实现。这一识别结果有助于机器人臂合适地调节抓取力度。广泛的测试表明，FuseGrasp在透明物体的深度重建和材料识别方面显著提升了准确率。而且，实际的机器人实验已确认，FuseGrasp显著增强了对透明物品的处理能力。FuseGrasp演示视频可在https://youtu.be/MWDqv0sRSok 查看。