基于触觉感知与强化学习的精密机器人穿针引线
机器人学
2023-11-07 v1
摘要
本工作提出一种名为 T-NT 的基于触觉感知的方法，用于执行穿针引线任务，即可变形线性物体（DLO）操控的一种应用。该任务分为两个主要阶段：尾端寻找与尾端插入。在第一阶段，智能体利用装在夹指上的基于视觉的触觉传感器对线轮廓追踪两次。两次追踪用于定位线的尾端。在第二阶段，其采用触觉引导的强化学习（RL）模型驱动机器人将线插入目标针眼。RL 模型在基于 Unity 的仿真环境中训练。该仿真环境支持触觉渲染，可生成逼真触觉图像与线建模。插入过程中，戳点与针眼中心的位置通过预训练分割模型 Grounded-SAM 获得，其预测针眼与线压痕的掩码。这些位置随后输入强化学习模型，助力更平滑地迁移到真实世界应用。在真实机器人上进行了大量实验以证明本方法的有效性。更多实验与视频见补充材料及网站：https://sites.google.com/view/tac-needlethreading。
引用
@article{arxiv.2311.02396,
title = {Precise Robotic Needle-Threading with Tactile Perception and Reinforcement Learning},
author = {Zhenjun Yu and Wenqiang Xu and Siqiong Yao and Jieji Ren and Tutian Tang and Yutong Li and Guoying Gu and Cewu Lu},
journal= {arXiv preprint arXiv:2311.02396},
year = {2023}
}