GLAMR：基于动态相机的全局遮挡感知人体网格恢复
计算机视觉与模式识别
2022-03-31 v2 人工智能
图形学
机器学习
机器人学
摘要
我们提出了一种从动态相机拍摄的单目视频中进行 3D 全局人体网格恢复的方法。我们的方法对严重且长期的遮挡具有鲁棒性，并能在人体离开相机视场时仍跟踪人体。为此，我们首先提出一个深度生成式运动填充器，基于可见运动自回归地填充被遮挡人体的身体运动。此外，与先前工作不同，即使使用动态相机，我们的方法也能在一致的全局坐标中重建人体网格。由于人体运动与相机位姿的联合重建是欠约束的，我们提出一个全局轨迹预测器，基于局部身体运动生成全局人体轨迹。使用预测轨迹作为锚点，我们提出一个全局优化框架，精炼预测轨迹并优化相机位姿以匹配视频证据（如 2D 关键点）。在具有动态相机的挑战性室内和野外数据集上的实验表明，所提方法在运动填充和全局网格恢复方面显著优于先前方法。
引用
@article{arxiv.2112.01524,
title = {GLAMR: Global Occlusion-Aware Human Mesh Recovery with Dynamic Cameras},
author = {Ye Yuan and Umar Iqbal and Pavlo Molchanov and Kris Kitani and Jan Kautz},
journal= {arXiv preprint arXiv:2112.01524},
year = {2022}
}
备注
CVPR 2022 (Oral). Project page: https://nvlabs.github.io/GLAMR