面向百帧每秒以上多人体三维姿态估计的跨视角跟踪
计算机视觉与模式识别
2021-07-30 v3
摘要
实时估计多个人体的三维姿态是计算机视觉中一个经典但仍具挑战性的任务。其主要困难在于跨视角关联二维姿态时的歧义性，以及多视角多人物下巨大的状态空间。本文提出了一种基于多台标定相机视角的多人体三维姿态估计新方案。该方案以不同相机坐标系下的二维姿态为输入，目标为全局坐标系中的精确三维姿态。与以往方法在每帧都从头关联所有视角对的二维姿态不同，我们利用视频中的时间一致性，直接在三维空间中将二维输入与三维姿态匹配。更具体地，我们提出为每个人保留三维姿态并通过跨视角多人体跟踪迭代更新。这一新颖表述提升了精度与效率，正如我们在广泛使用的公开数据集上所展示的。为进一步验证方法的可扩展性，我们提出了一个具有12至28个相机视角的新大规模多人体数据集。无需额外技巧，我们的方案在12台相机下达到154 FPS、在28台相机下达到34 FPS，表明其处理大规模实际应用的能力。所提数据集发布于 https://github.com/longcw/crossview_3d_pose_tracking。
引用
@article{arxiv.2003.03972,
title = {Cross-View Tracking for Multi-Human 3D Pose Estimation at over 100 FPS},
author = {Long Chen and Haizhou Ai and Rui Chen and Zijie Zhuang and Shuang Liu},
journal= {arXiv preprint arXiv:2003.03972},
year = {2021}
}
备注
12 pages with supplementary material; accepted to CVPR 2020