SwarMan：具备身体追踪与基于深度学习手势识别的人形无人机群化身
机器人学
2022-10-05 v1
摘要
人形机器人化身提出了一种概念上新颖的远程情感交流方法，使世界各地的人们能够超越传统的二维和三维图像数据进行更广泛的情感与社会交流。然而，当前的临场感机器人存在若干局限，例如重量大、系统复杂导致无法快速部署，以及安装在静态或轮式移动平台上的化身工作空间有限。本文提出一种基于人形无人机群的机器人化身远程通信新概念：SwarMan。所开发的系统由九架纳米直升机组成，操作员通过手势识别界面进行远程控制。SwarMan 允许操作员通过直接跟随其动作并识别预录的情感模式之一来进行交流，从而将捕捉到的情感以无人机上的光照形式呈现。LSTM MediaPipe 网络在收集的包含五种情感手势的 600 段短视频数据集上进行了训练。在测试数据集上实现的情感识别准确率为 97%。由于通过无人机群化身进行交流显著改变了操作员的视觉外观，我们研究了用户识别并响应无人机群所表现情感的能力。实验结果显示用户在情感评分上具有高度一致性。此外，用户表示使用 SwarMan 界面交流时身体需求低（李克特量表上 2.25 分），且对自身表现感到满意（李克特量表上 1.38 分）。
引用
@article{arxiv.2210.01487,
title = {SwarMan: Anthropomorphic Swarm of Drones Avatar with Body Tracking and Deep Learning-Based Gesture Recognition},
author = {Ahmed Baza and Ayush Gupta and Ekaterina Dorzhieva and Aleksey Fedoseev and Dzmitry Tsetserukou},
journal= {arXiv preprint arXiv:2210.01487},
year = {2022}
}
备注
6 pages, 8 figures, IEEE SMC 2022 conference