基于时空矩阵表示CNN的动态LIBRAS手势识别
计算机视觉与模式识别
2026-03-30 v1 人工智能
摘要
本文提出了一种基于两个模型组合的动态手势识别方法：MediaPipe手部关键点检测器，负责提取手部的21个骨骼关键点，以及一个卷积神经网络（CNN），用于从维度为90×21的关键点时空矩阵表示中分类手势。该方法应用于LIBRAS（巴西手语）手势识别，用于家庭自动化系统中的设备控制，涵盖11类静态和动态手势。为实现实时推理，采用了带有时间帧三重复制的滑动窗口，无需循环网络即可实现连续识别。测试在低光条件下达到95%的准确率，在正常光照条件下达到92%。结果表明该方法有效，但需要更多用户多样性的系统性实验才能更全面地评估泛化能力。
引用
@article{arxiv.2603.25863,
title = {Dynamic LIBRAS Gesture Recognition via CNN over Spatiotemporal Matrix Representation},
author = {Jasmine Moreira},
journal= {arXiv preprint arXiv:2603.25863},
year = {2026}
}
备注
6 pages, 10 figures, 1 table