PhysPT:用于从单目视频估计人体动力学的物理感知预训练Transformer
计算机视觉与模式识别
2024-04-09 v1
摘要
尽管当前方法在从单目视频估计3D人体运动方面取得了可喜的进展,但由于它们主要考虑运动学,其运动估计通常在物理上是不合理的。在本文中,我们引入了物理感知预训练Transformer(PhysPT),它改进了基于运动学的运动估计并推断运动力。PhysPT利用Transformer编码器-解码器骨干网络,以自监督方式有效学习人体动力学。此外,它结合了支配人体运动的物理原理。具体而言,我们构建了基于物理的躯体表示和接触力模型。我们利用它们施加新颖的物理启发训练损失(即力损失、接触损失和Euler-Lagrange损失),使PhysPT能够捕捉人体的物理特性及其所受的力。实验表明,PhysPT一旦训练完成,即可直接应用于基于运动学的估计,显著增强其物理合理性并生成良好的运动力。此外,我们展示了这些具有物理意义的量能够转化为重要下游任务(人体动作识别)准确率的提升。
引用
@article{arxiv.2404.04430,
title = {PhysPT: Physics-aware Pretrained Transformer for Estimating Human Dynamics from Monocular Videos},
author = {Yufei Zhang and Jeffrey O. Kephart and Zijun Cui and Qiang Ji},
journal= {arXiv preprint arXiv:2404.04430},
year = {2024}
}