一种基于视觉与IMU的移动机器人手-臂遥操作系统
机器人学
2020-03-12 v1 计算机视觉与模式识别
人机交互
摘要
本文提出了一种多模态移动遥操作系统，由一个新颖的基于视觉的手部姿态回归网络（Transteleop）和一个基于IMU的臂部跟踪方法组成。Transteleop通过低成本深度相机观察人手，并通过图像到图像的转换过程不仅生成关节角度，还生成配对机器人手姿态的深度图像。基于关键点的重建损失利用了人与机器人手在外观和解剖结构上的相似性，并丰富了重建图像的局部特征。可穿戴相机支架实现了手-臂同步控制，并提升了整个遥操作系统的移动性。在测试数据集上的网络评估结果以及一系列超越简单拾放操作的复杂操控任务表明了我们多模态遥操作系统的效率与稳定性。
引用
@article{arxiv.2003.05212,
title = {A Mobile Robot Hand-Arm Teleoperation System by Vision and IMU},
author = {Shuang Li and Jiaxi Jiang and Philipp Ruppel and Hongzhuo Liang and Xiaojian Ma and Norman Hendrich and Fuchun Sun and Jianwei Zhang},
journal= {arXiv preprint arXiv:2003.05212},
year = {2020}
}