利用视觉与关节力矩传感模态的机器人向人物体交接
机器人学
2022-10-28 v1 计算机视觉与模式识别
摘要
我们提出了一种机器人向人物体交接算法，并在配备三指机械手的 7 自由度机械臂上予以实现。该系统能够实时、完全自主且稳健地向人类接收者交接物体。我们的算法依赖于两种互补的传感模态：机械臂上的关节力矩传感器和用于传感反馈的眼在手内 RGB-D 相机。我们的方法完全是隐式的，即机器人与人类接收者之间没有显式通信。通过上述传感模态获取的信息被用作相关深度神经网络的输入。力矩传感器网络检测人类接收者的“意图”，例如拉、握或碰；而视觉传感器网络检测接收者的手指是否已环绕物体。随后融合各网络的输出，并据此做出是否释放物体的决策。尽管在传感反馈同步、物体及人手检测方面存在诸多挑战，我们的系统在初步的真实人类接收者实验中实现了 98% 的准确率，达成了稳健的机器人向人交接。
引用
@article{arxiv.2210.15085,
title = {Robot to Human Object Handover using Vision and Joint Torque Sensor Modalities},
author = {Mohammadhadi Mohandes and Behnam Moradi and Kamal Gupta and Mehran Mehrandezh},
journal= {arXiv preprint arXiv:2210.15085},
year = {2022}
}
备注
Note: This paper is submitted to RITA 2022 conference and waiting for results