一种用于手势识别的时空多层感知机
计算机视觉与模式识别
2022-08-19 v2
摘要
手势识别对于自动驾驶车辆与人的交互至关重要。当前的方法侧重于融合图像特征、关键点和骨骼向量等多种模态，而我们提出了一种仅以身体骨骼输入数据即可取得最先进结果的神经网络架构。我们提出了面向自动驾驶车辆场景的用于手势识别的时空多层感知机。给定随时间变化的3D身体姿态，我们定义了时间与空间混合操作以在两个域中提取特征。此外，每个时间步的重要性通过Squeeze-and-Excitation层进行重新加权。我们对TCG和Drive&Act数据集进行了充分评估，以展示我们方法颇具前景的性能。进一步地，我们将模型部署到我们的自动驾驶车辆上，以展示其实时能力与稳定执行。
引用
@article{arxiv.2204.11511,
title = {A Spatio-Temporal Multilayer Perceptron for Gesture Recognition},
author = {Adrian Holzbock and Alexander Tsaregorodtsev and Youssef Dawoud and Klaus Dietmayer and Vasileios Belagiannis},
journal= {arXiv preprint arXiv:2204.11511},
year = {2022}
}
备注
Accepted for presentation at the 33rd IEEE Intelligent Vehicles Symposium (IV 2022), June 5 - June 9, 2022, Aachen, Germany