基于视频帧的实时健身运动分类与计数

本文介绍了一种使用双向长短期记忆 (BiLSTM) 神经网络进行实时运动分类的新方法。现有的运动识别方法通常依赖于合成数据集、对用户和相机变化敏感的原始坐标输入，并且未能充分利用运动动作中的时间依赖性。这些问题限制了它们在光照、相机角度和用户体型各异的现实条件下的泛化能力和鲁棒性。为了应对这些挑战，我们提出了一种基于 BiLSTM 的模型，该模型利用关节角度等不变特征以及原始坐标。通过同时使用角度和 (x, y, z) 坐标，该模型能够适应视角、用户位置和身体差异的变化，从而提高泛化能力。在 30 帧序列上进行训练使 BiLSTM 能够捕获运动的时间上下文并识别随时间演变的模式。我们编制了一个数据集，结合了来自 InfiniteRep 数据集的合成数据和来自 Kaggle 及其他来源的真实视频。该数据集包括四种常见运动：深蹲、俯卧撑、肩推和二头肌弯举。该模型在这些多样化的数据集上进行了训练和验证，在测试集上实现了超过 99% 的准确率。为了评估泛化能力，该模型在代表典型使用条件的两个独立测试集上进行了测试。结果部分与文献中的先前方法进行了比较，表明所提出的模型是性能最佳的模型。该分类器被集成到一个 Web 应用程序中，提供实时的运动分类和重复计数，无需手动选择运动。演示和数据集可在以下 GitHub 仓库获取：https://github.com/RiccardoRiccio/Fitness-AI-Trainer-With-Automatic-Exercise-Recognition-and-Counting。