LE-HGR：一种面向嵌入式AR设备的轻量高效基于RGB的在线手势识别网络
计算机视觉与模式识别
2020-01-17 v1 机器学习
图像与视频处理
摘要
在线手势识别（HGR）技术在增强现实（AR）应用中对于实现自然的人机交互与通信至关重要。近年来，低成本AR设备的消费市场快速增长，而该领域的技术成熟度仍有限。此类设备通常价格低廉、内存有限且计算单元资源受限，使得在线HGR成为一项具有挑战性的问题。为解决该问题，我们提出一种轻量且计算高效的HGR框架，即LE-HGR，以在低算力嵌入式设备上实现实时手势识别。我们还展示了所提方法具有高精度与鲁棒性，能够在多种复杂交互环境中达到高端性能。为实现目标，我们首先提出级联多任务卷积神经网络（CNN），同时在线预测手部检测概率并回归手部关键点位置。我们表明，借助所提级联架构设计，可大幅消除误检估计。此外，引入一种关联映射方法，通过预测位置跟踪手部轨迹，从而解决多手干扰问题。随后，我们提出轨迹序列神经网络（TraceSeqNN），利用跟踪轨迹的运动特征识别手势。最后，我们给出多种实验结果，表明所提框架能以显著降低的计算成本达到最先进精度，这些特性是在移动设备及AR/VR头显等低成本商用设备中启用实时应用的关键属性。
引用
@article{arxiv.2001.05654,
title = {LE-HGR: A Lightweight and Efficient RGB-based Online Gesture Recognition Network for Embedded AR Devices},
author = {Hongwei Xie and Jiafang Wang and Baitao Shao and Jian Gu and Mingyang Li},
journal= {arXiv preprint arXiv:2001.05654},
year = {2020}
}
备注
Published in: 2019 IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct)