基于物理的人体运动估计与从视频合成
高能物理 - 唯象学
2023-05-29 v1
摘要
人体运动合成是一个重要问题，在图形学、游戏和机器人仿真环境中有应用。现有方法需要精确的运动捕捉数据用于训练，获取成本高。相反，我们提出一个框架，用于直接从单目 RGB 视频（其可用性广泛得多）训练物理上合理的人体运动生成模型。我们方法的核心是一种新颖的优化公式，其通过强制物理约束并以可微分方式推理接触来修正不完美的基于图像的姿态估计。该优化产生修正的 3D 姿态和运动，以及对应的接触力。结果表明，我们的物理修正运动在姿态估计上显著优于先前工作。我们随后可用这些来训练生成模型以合成未来运动。我们在 Human3.6m 数据集上与先前的运动学及基于物理的方法相比，展示出我们的方法在运动估计、合成质量和物理合理性上定性与定量均更优。通过实现从视频学习运动合成，我们的方法为大规模、真实且多样的运动合成铺平了道路。项目页面：\url{https://nv-tlabs.github.io/publication/iccv_2021_physics/}
引用
@article{arxiv.2109.09912,
title = {Chemical Freeze-out Parameters via a Non-perturbative QCD Approach},
author = {Yi Lu and Muyang Chen and Zhan Bai and Fei Gao and Yu-xin Liu},
journal= {arXiv preprint arXiv:2109.09912},
year = {2023}
}
备注
9 pages, 6 figures. Extension of arXiv:1510.07543