ForcePose：基于动作识别的深度学习力计算方法，结合 MediaPipe 姿态估计与目标检测
计算机视觉与模式识别
2025-03-31 v1 人工智能
摘要
人-物相互作用中的力估计对于人体工学、物理治疗和运动科学等多个领域至关重要。传统方法依赖专用设备如力平板和传感器，使得精确评估既昂贵又受实验室环境限制。在本文中，我们引入 ForcePose，一个新型深度学习框架，通过结合人体姿态估计与目标检测来估计施加的力。我们的方案利用 MediaPipe 进行骨骼跟踪和 SSD MobileNet 进行目标识别，以创建人体-物相互作用的统一表示。我们开发了专用神经网络，处理空间和时间特征，以无需物理传感器预测力的大小和方向。经过在 850 个带有对应力量测量值的标注视频上训练后，模型在力量大小上实现平均绝对误差为 5.83 N，在力量方向上为 7.4 度。与现有计算机视觉方法相比，我们的方法性能提升 27.5%，同时仍在标准计算硬件上实现实时性能。ForcePose 为力分析在 diverse 实际场景中开辟了新可能，这些场景中传统测量工具不实用或会造成侵入性。本文讨论了我们的 methodology、数据集创建过程、评估指标以及在康复、人体工学评估和运动表现分析等领域的潜在应用。
引用
@article{arxiv.2503.22363,
title = {ForcePose: A Deep Learning Approach for Force Calculation Based on Action Recognition Using MediaPipe Pose Estimation Combined with Object Detection},
author = {Nandakishor M and Vrinda Govind and Anuradha Puthalath and Anzy L and Swathi P S and Aswathi R and Devaprabha A R and Varsha Raj and Midhuna Krishnan K and Akhila Anilkumar T and Yamuna P},
journal= {arXiv preprint arXiv:2503.22363},
year = {2025}
}