基于人体姿态追踪与可扩展多元时间序列分类器的快速鲁棒视频动作分类
计算机视觉与模式识别
2022-10-04 v1 机器学习
摘要
技术进步推动了机器学习应用在运动科学中的使用。物理治疗师、运动教练和运动员积极寻求融合最新技术，以进一步提升表现并避免受伤。虽然可穿戴传感器非常流行，但其使用受到电池电量和传感器校准的限制，尤其是对于需要在身体上放置多个传感器的用例。因此，基于视频的数据采集与分析在运动科学中重新受到关注。本文展示了利用视频对力量与体能(S&C)练习进行分类的应用。我们聚焦于流行的军事推举(Military Press)练习，其执行过程使用移动设备（如手机）的摄像机捕捉，目标是将执行方式分类为不同类型。由于视频录制需要大量存储与计算，该用例要求数据降维，同时保持分类精度并支持快速预测。为此，我们提出一种名为 BodyMTS 的方法，通过人体姿态追踪将视频转化为时间序列，随后使用多元时间序列分类器进行训练与预测。我们分析了 BodyMTS 的精度与鲁棒性，表明其对由视频质量或姿态估计因素引起的各类噪声均具有鲁棒性。我们将 BodyMTS 与直接从视频分类人类活动的 SOTA 深度学习方法进行比较，结果显示 BodyMTS 取得了相近的精度，但运行时间与模型工程代价更低。最后，我们讨论了在精度与数据质量及规模下降下的鲁棒性方面，于该应用中部署 BodyMTS 的一些实际因素。我们表明 BodyMTS 达到了 87% 的平均精度，显著高于人类领域专家的水平。
引用
@article{arxiv.2210.00507,
title = {Fast and Robust Video-Based Exercise Classification via Body Pose Tracking and Scalable Multivariate Time Series Classifiers},
author = {Ashish Singh and Antonio Bevilacqua and Thach Le Nguyen and Feiyan Hu and Kevin McGuinness and Martin OReilly and Darragh Whelan and Brian Caulfield and Georgiana Ifrim},
journal= {arXiv preprint arXiv:2210.00507},
year = {2022}
}