基于脉冲神经网络与稀疏分割的低分辨率热成像资源高效手势识别
计算机视觉与模式识别
2024-01-15 v1 人机交互
摘要
本文提出一种新颖的手势识别方法，使用廉价低分辨率（24×32）热传感器，通过脉冲神经网络（SNN）处理，随后进行稀疏分割，并利用鲁棒主成分分析（R-PCA）进行基于特征的手势分类。与使用标准RGB相机相比，所提系统对光照变化不敏感，且成本显著低于文献中先前使用的高频雷达、飞行时间相机和高分辨率热传感器。关键的是，本文表明，创新性地使用最近提出的单稳态多谐振荡器（MMV）神经网络作为一类新型SNN，与深度学习方法相比，可实现一个数量级以上的内存和计算复杂度降低，同时在汽车座舱内采集的5类热成像数据集上达到93.9%的最高手势识别准确率。我们公开了该数据集以助力未来研究。
引用
@article{arxiv.2401.06563,
title = {Resource-Efficient Gesture Recognition using Low-Resolution Thermal Camera via Spiking Neural Networks and Sparse Segmentation},
author = {Ali Safa and Wout Mommen and Lars Keuninckx},
journal= {arXiv preprint arXiv:2401.06563},
year = {2024}
}