从互联网视频中进行动作捕捉
计算机视觉与模式识别
2020-08-20 v2
摘要
基于图像的人体姿态估计的最新进展使得从单段 RGB 视频中捕捉三维人体运动成为可能。然而，单视图固有的深度模糊与自遮挡阻碍了恢复出如同多视图重建般高质量的运动。尽管多视图视频并不常见，但某位名人执行特定动作的视频通常在互联网上十分丰富。即便这些视频录制于不同时间点，它们也会编码该人物相同的运动特征。因此，我们提议通过联合分析这些互联网视频而非分别使用单段视频来捕捉人体运动。然而，这一新任务带来了许多现有方法无法应对的新挑战，因为视频不同步、相机视角未知、背景场景各异，且人体运动在视频间并不完全一致。为应对这些挑战，我们提出了一种新颖的基于优化的框架，并通过实验证明其相较单目动作捕捉方法能从多段视频中恢复出更精确且更细致的运动。
引用
@article{arxiv.2008.07931,
title = {Motion Capture from Internet Videos},
author = {Junting Dong and Qing Shuai and Yuanqing Zhang and Xian Liu and Xiaowei Zhou and Hujun Bao},
journal= {arXiv preprint arXiv:2008.07931},
year = {2020}
}
备注
ECCV 2020 (Oral), project page: https://zju3dv.github.io/iMoCap/