从互联网视频估计人-物交互的三维运动与力
计算机视觉与模式识别
2021-11-03 v1
摘要
本文中，我们提出了一种从单个 RGB 视频自动重建人与物体交互的三维运动的方法。我们的方法同时估计人的三维姿态、物体姿态、接触位置以及施加于人体的接触力。本工作的主要贡献有三方面。首先，我们提出了一种通过对接触和交互动力学进行建模，联合估计人的运动及其对受操控物体的作用力的方法。这被转化为一个大规模轨迹优化问题。其次，我们开发了一种从输入视频自动识别人与物体或地面之间接触的二维位置和时序的方法，从而显著简化了优化的复杂性。第三，我们在一个捕捉典型跑酷动作的近期视频+动作捕捉数据集上验证了我们的方法，并在一个包含无约束环境中人操控多种工具的互联网视频的新数据集上展示了其性能。
引用
@article{arxiv.2111.01591,
title = {Estimating 3D Motion and Forces of Human-Object Interactions from Internet Videos},
author = {Zongmian Li and Jiri Sedlar and Justin Carpentier and Ivan Laptev and Nicolas Mansard and Josef Sivic},
journal= {arXiv preprint arXiv:2111.01591},
year = {2021}
}
备注
arXiv admin note: substantial text overlap with arXiv:1904.02683