基于 Leap Motion 传感器的手语识别中统计与时空手势特征研究

在现代社会中，人们不应因其残疾而被识别，相反，是环境使有障碍的人失能。自动手语识别（SLR）的改进将通过数字技术带来更具包容性的环境。许多最先进的 SLR 方法聚焦于静态手势的分类，但交流是一种时间活动，这反映在许多存在的动态手势中。鉴于此，手势传递过程中的时间信息在 SLR 中常未被考虑。本工作的实验考虑了 SLR 手势识别中动态手势在传递过程中如何变化的问题，旨在探索单一类型特征以及混合特征如何影响机器学习模型的分类能力。通过 Leap Motion Controller 传感器记录的 18 种常见手势构成了一个复杂的分类问题。从 0.6 秒时间窗中提取两组特征：统计描述符和时空属性。每组特征通过其 ANOVA F 值和 p 值进行比较，按每步增加 10 个特征直至 250 个最高排名特征的限制分箱。结果显示，最佳统计模型选择了 240 个特征，准确率为 85.96%；最佳时空模型选择了 230 个特征，准确率为 80.98%；最佳混合特征模型从每组中各选 240 个特征，分类准确率达 86.75%。当比较所有三组结果（146 个独立机器学习模型）时，整体分布表明，与任意数量的任一组单一特征相比，当输入为任意数量的混合特征时，最低结果有所提高。