动态手势识别

人机交互（HMI）研究领域是机器学习中的一个重要课题，近年来得益于计算能力的提升得到了深入研究。首次可以使用机器学习对图像和/或视频进行分类，而非传统的计算机视觉算法。本文的目标是构建卷积神经网络（CNN）与循环神经网络（RNN）之间的共生关系，以从视频中识别文化/人类学意义上的意大利手语手势。CNN 提取重要特征，随后由 RNN 使用。借助 RNN，我们能够在模型内存储时间信息，从而提供来自先前帧的上下文信息以提升预测精度。我们的新方法使用不同的数据增强技术和正则化方法，仅基于 RGB 帧，以避免过拟合并提供较小的泛化误差。