基于生物力学模型与合成训练数据的视频三维运动学估计
计算机视觉与模式识别
2024-03-06 v4
摘要
人体准确的三维运动学估计对于康复、损伤预防和诊断等各种人类健康与移动性应用至关重要，因为它有助于理解运动过程中经历的生物力学负荷。传统的基于标记的动作捕捉在资金投入、时间和所需专业知识方面成本高昂。此外，由于缺乏带有准确标注的数据集，现有的无标记动作捕捉方法面临着包括不可靠的二维关键点检测、有限的解剖学精度以及低泛化能力等挑战。在本工作中，我们提出了一种新型的生物力学感知网络，该网络在考虑生物力学先验和时空信息的情况下，直接从两个输入视图输出三维运动学。为了训练模型，我们创建了合成数据集 ODAH，通过对齐来自 SMPL-X 模型的人体网格和全身 OpenSim 骨骼模型，生成了具有准确运动学标注的数据。我们的大量实验表明，所提出的方法仅在合成数据上训练，在多个数据集评估中均优于之前的最先进方法，揭示了增强基于视频的人体动作捕捉的广阔前景。
引用
@article{arxiv.2402.13172,
title = {3D Kinematics Estimation from Video with a Biomechanical Model and Synthetic Training Data},
author = {Zhi-Yi Lin and Bofan Lyu and Judith Cueto Fernandez and Eline van der Kruk and Ajay Seth and Xucong Zhang},
journal= {arXiv preprint arXiv:2402.13172},
year = {2024}
}