HyperPalm：基于DNN的手势识别接口用于与四足机器人三维空间智能交互
机器人学
2022-09-22 v1 人机交互
摘要
如今，自主移动机器人在许多人类在场冗余或过于危险的领域为人类提供支持。它们已在探险、燃气工业、矿山、仓库等场景中成功证明自身价值。然而，即便是腿式机器人也可能困于崎岖地形条件，需要人类认知能力来导航系统。虽然游戏手柄和键盘便于轮式机器人控制，但三维空间中的四足机器人可沿所有线性坐标和欧拉角运动，至少需要12个按钮来独立控制其自由度（DoF）。因此，需要更便捷的控制接口。本文提出HyperPalm：一种用于与四足机器人直观人机交互的新型手势接口。无需额外设备，操作者通过仅5种手势和6自由度手部运动的手势识别，即可在三维空间中对四足机器人进行完整的位置与姿态控制。实验结果表明，对5种静态手势的分类准确率高（96.5%），并能准确预测手在三维空间中6D位置的位置。所提方法的绝对线性偏差均方根偏差（RMSD）为11.7 mm，比第二种被测方法低近50%；所提方法的绝对角度偏差RMSD为2.6度，比第二种被测方法低近27%。此外，我们开展了用户研究以探索用户通过所提手势接口进行人机交互的主观体验。参与者评价其与HyperPalm的交互直观（2.0）、不引起挫败感（2.63）且所需体力需求低（2.0）。
引用
@article{arxiv.2209.09937,
title = {HyperPalm: DNN-based hand gesture recognition interface for intelligent communication with quadruped robot in 3D space},
author = {Elena Nazarova and Ildar Babataev and Nipun Weerakkodi and Aleksey Fedoseev and Dzmitry Tsetserukou},
journal= {arXiv preprint arXiv:2209.09937},
year = {2022}
}
备注
6 pages, 9 figures, IEEE SMC 2022