基于指向手势的目标识别

本文提出了一种利用 RGB 图像识别人类指向手势所指向目标的完整流程。随着人机交互向更直观的界面发展，识别非语言沟通的目标变得至关重要。所提出的系统集成了多种现有最先进方法，包括目标检测、人体姿态估计、单目深度估计和视觉语言模型。我们评估了从单张图像重建的三维空间信息以及图像描述模型在纠正分类错误方面的作用。在自定义数据集上的实验结果表明，融合深度信息显著提升了目标识别能力，尤其是在存在重叠物体的复杂场景中。该方法的模块化特性使其可在缺乏专用深度传感器的环境中部署。