超远距离动态手势的鲁棒识别
机器人学
2024-11-28 v1
摘要
动态手势在传递非语言信息方面发挥着 crucial 作用，是 Human-Robot Interaction(HRI) 中消除复杂界面需求的关键。当前用于动态手势识别的模型在有效识别范围方面存在局限，限制了其仅能适用于近距离场景。在本 letter 中，我们提出一种 novel 方法，用于识别最高可达 28 米的超远距离动态手势，使机器人在室内外环境中能够进行自然、指令式的交流。我们提出的 SlowFast-Transformer(SFT) 模型有效地将 SlowFast 架构与 Transformer 层集成，以高效处理和分类在超远距离捕获的手势序列，克服低分辨率和环境噪声的挑战。我们进一步引入距离加权损失函数，证明其可增强学习过程并提高模型在不同距离下的鲁棒性。我们的模型在包含具有挑战性超远距离手势的多样化数据集上实现了 95.1% 的识别准确率，显著优于最先进的手势识别框架。这一成果使机器人能够从远距离作出恰当的反应，为 HRI 提供了必要的增强，尤其是在需要无缝自然交互的场景中。
引用
@article{arxiv.2411.18413,
title = {Robust Dynamic Gesture Recognition at Ultra-Long Distances},
author = {Eran Bamani Beeri and Eden Nissinman and Avishai Sintov},
journal= {arXiv preprint arXiv:2411.18413},
year = {2024}
}