基于持续图变换器的在线手势识别

在线连续动作识别因其在人机交互、健康护理和机器人等实际应用中的实际意义而成为关键研究领域。尽管存在多种模态，基于骨架的方法因其在捕获3D时序数据方面有效且对环境变化具有鲁棒性而获得了广泛关注。然而，大多数现有工作聚焦于基于片段的识别，难以适用于实时连续识别场景。本文提出一种 novel 在线识别系统，专为实时骨架序列流式处理而设计。我们的方案结合空间图卷积网络（S-GCN）进行空间特征提取和基于转换器的图编码器（TGE）用于跨帧捕获时序依赖性。此外，我们引入持续学习机制以增强模型对动态数据分布的适应性，确保在动态环境中的鲁棒识别。我们在SHREC'21基准数据集上进行评估，证明了其在在线手势识别中的卓越性能。我们的方案不仅实现了最先进的准确率，还显著降低了误报率，为实时应用提供了引人入目的解决方案。该系统可无缝集成到包括人机协作和辅助技术等多个领域，where自然直观的交互至关重要。