用于户外环境中抓取垃圾的视觉-触觉机器人系统

垃圾的积累在许多地方日益增加，已成为亟待解决的问题。本文提出了一种用于收集户外环境中垃圾的操纵器机器人系统。该系统具有三个功能。首先，利用彩色图像检测并识别由不同材料构成的垃圾。其次，将深度数据与废物对象的像素相结合，以计算三维位置并对场景中的垃圾项目进行三维点云分段。随后，为每个废物实例的分段点云估算机器人臂上夹具的三自由度（DoF）抓取。最后，实施两种基于触觉的算法，以为夹具提供触觉感知。本工作使用两个低成本基于视觉的触觉传感器置于指尖。其中一个解决废物与夹具之间接触检测（从触觉图像中获得），另一个设计用于检测滑移，以防止被抓取的物体掉落。我们的方法通过在不同尺寸、纹理、几何形状和材料的物体上进行大量实验进行了测试，这些实验在不同的户外环境中进行，包括铺满瓷砖的地面、石子/土壤表面以及草地。该系统在检测方面平均得分为 94%，收集成功率（CSR）达到 80%。