基于事件与深度数据传感器融合的脉冲卷积网络高效手势识别
机器人学
2024-01-31 v1 计算机视觉与模式识别
神经与进化计算
摘要
随着智能系统在日常生活中日益重要，新的交互方式成为必需。传统用户界面对身体残障人士存在诸多问题，且部分情况下不实用或不方便。手势识别是一种替代方案，但使用传统摄像头时往往反应不够灵敏。本文提出一种脉冲卷积神经网络，处理事件数据和深度数据以进行手势识别。该网络使用开源神经形态计算框架 LAVA 进行仿真，用于离线训练和在嵌入式系统上的评估。评估使用了三个开源数据集。由于这些数据集不能代表所应用的双模态，我们记录了一个包含同步事件和深度数据的新数据集。结果表明，对深度信息进行时间编码以及模态融合，即使是在不同编码的数据上，也有利于提高网络性能和泛化能力。
引用
@article{arxiv.2401.17064,
title = {Efficient Gesture Recognition on Spiking Convolutional Networks Through Sensor Fusion of Event-Based and Depth Data},
author = {Lea Steffen and Thomas Trapp and Arne Roennau and Rüdiger Dillmann},
journal= {arXiv preprint arXiv:2401.17064},
year = {2024}
}
备注
Accepted to IEEE International Conference on Robotics and Automation (ICRA 2024)