从视频中学习估计人体运动的外部力
计算机视觉与模式识别
2022-07-14 v1
摘要
分析运动表现或预防损伤需要捕捉人体在特定动作中施加的地面反作用力（GRFs）。标准做法是在受控环境中使用物理标记结合测力台，但这存在成本高、实施周期长以及重复实验方差大等缺陷；因此我们提出从视频推断 GRF。尽管近期工作已使用 LSTM 从 2D 视点估计 GRF，但其在建模与表示能力上可能受限。首先，我们提出使用 transformer 架构处理从视频估计 GRF 的任务，为首个此类尝试。随后我们引入一种新的损失函数以最小化回归曲线中的高冲击峰值。我们还表明，在 2D 到 3D 人体姿态估计上的预训练与多任务学习提升了对未见运动的泛化能力。且在该不同任务上的预训练在微调较小（更稀有）的 GRF 数据集时提供了良好的初始权重。我们在 LAAS Parkour 与一新收集的 ForcePose 数据集上评估；相较先前方法，误差最高降低 19%。
引用
@article{arxiv.2207.05845,
title = {Learning to Estimate External Forces of Human Motion in Video},
author = {Nathan Louis and Tylan N. Templin and Travis D. Eliason and Daniel P. Nicolella and Jason J. Corso},
journal= {arXiv preprint arXiv:2207.05845},
year = {2022}
}
备注
Accepted to ACMMM 2022