人机交互中使用网络摄像头进行超远距离手势识别
机器人学
2024-04-11 v2 计算机视觉与模式识别
摘要
手势在非语言意图、思想与指令传达的人类交互中发挥重要作用。在人机交互(HRI)中,手势为向机器人代理传达清晰快速的指令提供了类似的高效媒介。然而,最先进的基于视觉的手势识别方法已被证明仅在用户-摄像头距离达七米内有效。如此短的距离范围限制了与服务机器人、搜救机器人与无人机等的实际人机交互。本工作中,我们针对超远距离手势识别(URGR)问题,以最高25米识别距离为目标,并在HRI背景下展开。我们提出URGR框架,一种仅使用简易RGB摄像头的新型深度学习方案。手势推断基于单幅图像。首先,一种称为高质量网络(HQ-Net)的新型超分辨率模型利用一组自注意力与卷积层增强用户的低分辨率图像。随后,我们提出一种称为图视觉Transformer(GViT)的新型URGR分类器,以增强后的图像作为输入。GViT结合了图卷积网络(GCN)与改进视觉Transformer(ViT)的优势。所提框架在多样测试数据上的评估取得了98.1%的高识别率。该框架在超远距离下也表现出优于人类识别的性能。借助该框架,我们分析并展示了自主四足机器人在复杂超远距离室内外环境中受人类手势引导的性能,平均获得96%的识别率。
引用
@article{arxiv.2311.15361,
title = {Ultra-Range Gesture Recognition using a Web-Camera in Human-Robot Interaction},
author = {Eran Bamani and Eden Nissinman and Inbar Meir and Lisa Koenigsberg and Avishai Sintov},
journal= {arXiv preprint arXiv:2311.15361},
year = {2024}
}
备注
Engineering Applications of Artificial Intelligence, In press