基于深度实例分割与视觉伺服的低成本机器人叠叠乐系统
机器人学
2023-01-10 v2 计算机视觉与模式识别
系统与控制
系统与控制
摘要
叠叠乐（Jenga）游戏代表了开发用于复杂任务创新性操控方案的启发性基准。事实上，它推动了新型机器人方法的研究，以成功从塔中抽取木块。一场叠叠乐游戏回合无疑嵌入了复杂工业或手术操控任务的诸多特征，需要多步策略、视觉与触觉数据的结合，以及机械臂高度精确的运动来执行单次木块抽取。本工作中，我们提出了一种新颖、低成本的架构，使用Comau制造的6自由度拟人机械臂e.Do、标准深度相机和廉价的单向力传感器来玩叠叠乐。我们的方案聚焦于基于视觉的控制策略，以将末端执行器与所需木块精确对齐，从而通过推动实现木块抽取。为此，我们在合成自定义数据集上训练实例分割深度学习模型以分割叠叠乐塔的每一块，从而在机械臂运动期间实现所需木块位姿的视觉跟踪。我们将基于视觉的策略与一维力传感器集成，通过识别力阈值来检测木块是否可被安全移除。我们的实验表明，该低成本方案使e.DO能够精确到达可抽取木块，并最多连续执行14次抽取。
引用
@article{arxiv.2211.07977,
title = {Deep Instance Segmentation and Visual Servoing to Play Jenga with a Cost-Effective Robotic System},
author = {Luca Marchionna and Giulio Pugliese and Mauro Martini and Simone Angarano and Francesco Salvetti and Marcello Chiaberge},
journal= {arXiv preprint arXiv:2211.07977},
year = {2023}
}