基于骨骼分解的解剖结构感知三维人体姿态估计
计算机视觉与模式识别
2021-01-27 v5
摘要
在这项工作中，我们提出了一种针对视频中三维人体姿态估计的新方案。我们没有直接回归三维关节位置，而是从人体骨骼解剖结构获得启发，将该任务分解为骨骼方向预测与骨骼长度预测，由此可完全推导出三维关节位置。我们的动机在于人体骨骼的骨长度在时间上保持一致。这促使我们开发有效技术，利用视频中所有帧的全局信息以实现高精度的骨骼长度预测。此外，针对骨骼方向预测网络，我们提出了一种具有长跳跃连接的完全卷积传播架构。本质上，它在不使用任何耗时记忆单元（例如 LSTM）的情况下分层预测不同骨骼的方向。我们进一步引入了一种新颖的关节偏移损失，以桥接骨骼长度与骨骼方向预测网络的训练。最后，我们采用一种隐式注意力机制，将二维关键点可见性分数作为额外引导输入模型，这显著缓解了众多挑战性姿态中的深度歧义。我们的完整模型在 Human3.6M 和 MPI-INF-3DHP 数据集上优于先前最佳结果，其中全面的评估验证了模型的有效性。
引用
@article{arxiv.2002.10322,
title = {Anatomy-aware 3D Human Pose Estimation with Bone-based Pose Decomposition},
author = {Tianlang Chen and Chen Fang and Xiaohui Shen and Yiheng Zhu and Zhili Chen and Jiebo Luo},
journal= {arXiv preprint arXiv:2002.10322},
year = {2021}
}
备注
Accepted by IEEE Transactions on Circuits and Systems for Video Technology. Our code is available at https://github.com/sunnychencool/Anatomy3D