基于运动投影一致性的单目视频虚拟骨骼三维人体姿态估计
计算机视觉与模式识别
2022-09-16 v2
摘要
实时三维人体姿态估计对于人机交互至关重要。仅从单目视频估计三维人体姿态廉价且实用。然而，近期基于骨骼拼接的三维人体姿态估计方法带来了累积误差问题。本文提出虚拟骨骼的概念以解决该挑战。虚拟骨骼是非相邻关节之间的假想骨骼。它们在现实中不存在，但为三维人体关节的估计带来了新的环路约束。本文所提网络同时预测真实骨骼与虚拟骨骼。真实骨骼的最终长度由所预测真实骨骼与虚拟骨骼构成的环路约束并学习得到。此外，还考虑了连续帧中关节的运动约束。网络预测的二维投影位置位移与相机捕获的真实二维位移之间的一致性，被提出作为一种新的投影一致性损失用于三维人体姿态的学习。在 Human3.6M 数据集上的实验证明了所提方法的良好性能。消融研究证明了所提帧间投影一致性约束与帧内环路约束的有效性。
引用
@article{arxiv.2106.14706,
title = {Motion Projection Consistency Based 3D Human Pose Estimation with Virtual Bones from Monocular Videos},
author = {Guangming Wang and Honghao Zeng and Ziliang Wang and Zhe Liu and Hesheng Wang},
journal= {arXiv preprint arXiv:2106.14706},
year = {2022}
}
备注
10 pages, 7 figures. Accepted by TCDS 2022