资源受限设备上高效传感器融合手势识别
机器学习
2026-05-14 v1
摘要
手势识别是人机交互（HCI）中的核心技术，对于智能眼镜而言，能够在增强现实环境中实现自然且无需设备的控制。传统的基于视觉的方法在功耗、计算延迟和用户隐私方面面临重大挑战。本文提出一种基于低分辨率时间飞行（ToF）和红外（IR）热感应器融合的轻量级、隐私保护手势识别系统。我们使用 8 倍 8 多区 ToF 传感器（VL53L8CH）和 8 倍 8 红外阵列（AMG8833）来捕获互补的深度和热线索。设计一种针对单片机（MCU）高效融合这些模态的紧凑型卷积神经网络（CNN），采用专门的分组卷积架构。通过在自定义的 7 个静态手势数据集上进行 k 折交叉验证实验，结果表明所提出的融合策略相较于单一传感器基线方法显著优异，准确率达 92.3%，宏平均 F1 分数为 0.93。最后，在 STM32F4 和 STM32H7 MCU 上进行的设备内基准测试确认了该系统适用于资源受限的可穿戴设备，仅需 6,343 个参数，推理延迟达到毫秒级，总系统功耗为 50 mW。
引用
@article{arxiv.2605.13462,
title = {Efficient Sensor Fusion for Gesture Recognition on Resource-Constrained Devices},
author = {Pietro Bartoli and Christian Veronesi and Tommaso Bondini and Andrea Giudici and Franco Zappa},
journal= {arXiv preprint arXiv:2605.13462},
year = {2026}
}
备注
The article is already accepted for IEEE Sensors Applications Symposium (IEEE SAS) 2026