一组用于人机交互的 communicative gestures 提议及基于 RGB 图像的 ROS 手势识别器
机器人学
2021-09-22 v1
摘要
我们提出一组 communicative gestures 并开发了一个手势识别系统，旨在通过手势促进更直观的人机交互（HRI）。首先，我们提出一组常用于人机交互的命令。接着，我们进行了一项有 190 名参与者的在线用户研究，以探究在没有任何指导或训练的情况下，人们是否直觉地使用一组约定的手势向机器人传达给定命令。由于我们发现参与者之间的手势存在较大差异，我们随后为所提出的命令提议了一组手势，作为机器人交互的共同基础。我们收集了约 7500 段所提议手势的视频演示，并训练了一个手势识别模型，采用 3D 卷积神经网络（CNN）作为分类器，最终准确率为 84.1%（sigma=2.4）。所得模型能够用相对较少的训练数据成功训练。我们将该手势识别模型集成到 ROS 框架中，并报告了一个演示用例的细节，其中人使用所提议的集合命令机器人执行拾取与放置任务。该集成的 ROS 手势识别系统已可供使用，其构建意图是允许根据机器人模型和用例场景进行新的适配，以用于新颖的用户应用。
引用
@article{arxiv.2109.09908,
title = {A Proposed Set of Communicative Gestures for Human Robot Interaction and an RGB Image-based Gesture Recognizer Implemented in ROS},
author = {Jia Chuan A. Tan and Wesley P. Chan and Nicole L. Robinson and Elizabeth A. Croft and Dana Kulic},
journal= {arXiv preprint arXiv:2109.09908},
year = {2021}
}
备注
6 pages, 5 figures, 3 tables, ICRA 2022 Conference