基于单网络摄像头用于机器人指令的实时人体手指指向识别与估计
机器人学
2025-10-13 v2
摘要
手势在人类交流中起着关键作用，常因其优越的空间指代能力而成为语言表达的首选或补充媒介。手指指向手势传达了环境中某些关注点的重要信息。在人-机器人交互（HRI）中，用户可轻松引导机器人到达目标位置，从而便利搜索救援或工厂辅助等多样领域的任务。最先进的视觉指向估计方法通常依赖深度相机，局限于室内环境，且只能在有限目标间给出离散预测。本文探索开发使机器人能够使用单个网络摄像头理解人类指向指令的模型，即便在多样的室内外环境中亦可。提出了一种新颖的感知框架，包含称为 PointingNet 的指定基于数据的模型。PointingNet 通过分类识别指向的发生，随后用先进的回归模型近似食指的位置与方向。该模型依赖一种新颖的分割模型来掩蔽任何抬起的手臂。最先进的人体姿态估计模型给出的指向角度估计误差高达 28°，而 PointingNet 的平均误差小于 2°。利用指向信息计算出目标位置，随后进行机器人运动规划与执行。该框架在两套机器人系统上进行了评估，展示了准确的目标到达能力。
引用
@article{arxiv.2307.02949,
title = {Real-time Human Finger Pointing Recognition and Estimation for Robot Directives Using a Single Web-Camera},
author = {Eran Bamani and Eden Nissinman and Lisa Koenigsberg and Inbar Meir and Yoav Matalon and Avishai Sintov},
journal= {arXiv preprint arXiv:2307.02949},
year = {2025}
}