DriverMHG：用于驾驶员微手势动态识别的多模态数据集及实时识别框架
计算机视觉与模式识别
2021-10-20 v2
摘要
使用手势为人机交互（HCI）系统提供了一种替代繁琐接口设备的自然方式。然而，从视频流中实时识别动态微手势在车载场景中具有挑战性，因为（i）手势应自然执行而不分散驾驶员注意力，（ii）微手势在极短时间区间内发生于空间受限区域，（iii）所执行手势应仅被识别一次，以及（iv）整体架构应轻量化设计以部署于嵌入式系统。在本工作中，我们提出一种用于驾驶员微手势动态识别的 HCI 系统，其可对汽车领域尤其是安全问题产生关键影响。为此，我们最初收集了名为驾驶员微手势（DriverMHG）的数据集，其包含 RGB、深度和红外模态。动态识别微手势的挑战已通过提出一种轻量级的基于卷积神经网络（CNN）的架构得以解决，该架构以滑动窗口方法高效在线运行。对于 CNN 模型，应用了若干三维资源高效网络并分析了其性能。手势的在线识别通过 3D-MobileNetV2 完成，其在具有相似计算复杂度的应用网络中提供了最佳离线精度。最终架构部署于实时运行的驾驶员模拟器上。我们公开提供 DriverMHG 数据集与源代码。
引用
@article{arxiv.2003.00951,
title = {DriverMHG: A Multi-Modal Dataset for Dynamic Recognition of Driver Micro Hand Gestures and a Real-Time Recognition Framework},
author = {Okan Köpüklü and Thomas Ledwon and Yao Rong and Neslihan Kose and Gerhard Rigoll},
journal= {arXiv preprint arXiv:2003.00951},
year = {2021}
}
备注
Accepted to IEEE International Conference on Automatic Face and Gesture Recognition (FG 2020)