评估人类-机器人协作中的指向手势用于目标选择

指向手势是人类-机器人协作中常用的交互方法，用于各种任务，从选择目标到指导工业流程。本研究提出了一种用于在平面工作空间内局部化指向目标的方法。该方法采用姿态估计，并基于肩部-手腕延伸的简单几何模型从 RGB-D 流中提取手势数据。该研究提出了一种严格的方法和全面分析，用于评估指向手势和目标选择在典型机器人任务中的表现。除了评估工具准确性外，该工具被集成到一个原型机器人系统中，该系统包括目标检测、语音转录和语音合成，以演示多模态集成在协作应用中的作用。最后提供了对该工具局限性和性能的讨论，以理解其在多模态机器人系统中的作用。所有开发均可用：https://github.com/NMKsas/gesture_pointer.git。