面向水下人机协作的人体运动与手势理解
机器人学
2018-04-11 v1
摘要
在本文中，我们提出了若干鲁棒的方法，使水下机器人能够视觉检测、跟随并与潜水员交互以执行协作任务。我们设计开发了两种自主潜水员跟随算法，第一种利用与人游泳模式相关的空间和频域特征来视觉跟踪潜水员。第二种算法使用基于卷积神经网络的模型进行鲁棒的跟踪即检测。此外，我们提出了一种基于手势的人机通信框架，其在语法上比现有的基于语法的框架更简单，计算上更高效。在所提出的交互框架中，深度视觉检测器用于提供准确的手势识别；随后，有限状态机执行鲁棒且高效的手势到指令的映射。该框架的显著特点是，潜水员无需使用人工标记或记忆复杂语言规则即可轻松采用其与水下机器人通信。此外，我们通过在封闭和开放水域环境中的大量现场实验验证了所提方法的性能和有效性。最后，我们进行了用户交互研究，以证明与现有方法相比我们提出的交互框架的可用性优势。
引用
@article{arxiv.1804.02479,
title = {Understanding Human Motion and Gestures for Underwater Human-Robot Collaboration},
author = {Md Jahidul Islam},
journal= {arXiv preprint arXiv:1804.02479},
year = {2018}
}
备注
arXiv admin note: text overlap with arXiv:1709.08772