Quater-GCN: 利用方向信息和半监督训练增强3D人体姿态估计
计算机视觉与模式识别
2024-10-14 v3
摘要
3D人体姿态估计是计算机视觉中的一项重要任务，涉及从图像或视频预测人体关节位置，以在三维空间中重建人体骨架。该技术在动画、安全、人机交互和汽车安全等多个领域至关重要，推动了技术进步和人类福祉。深度学习的出现通过引入时间信息来预测人体关节的空间位置，显著提升了3D姿态估计的性能。然而，传统方法往往不足，因为它们主要关注关节的空间坐标，而忽略了连接骨骼的方向和旋转，而这些对于全面理解3D空间中的人体姿态至关重要。为了解决这些局限性，我们引入了Quater-GCN（Q-GCN），一种定向图卷积网络，通过方向信息增强姿态估计。Q-GCN不仅通过坐标捕捉节点关节之间的空间依赖关系，还整合了2D空间中骨骼旋转的动态上下文。这种方法通过回归3D空间中每个骨骼的方向，超越了单纯的坐标预测，实现了更精细的人体姿态表示。此外，我们通过半监督训练策略补充模型，利用未标记数据，解决了方向真值数据有限的问题。通过全面评估，Q-GCN在性能上优于当前最先进的方法。
引用
@article{arxiv.2404.19279,
title = {Quater-GCN: Enhancing 3D Human Pose Estimation with Orientation and Semi-supervised Training},
author = {Xingyu Song and Zhan Li and Shi Chen and Kazuyuki Demachi},
journal= {arXiv preprint arXiv:2404.19279},
year = {2024}
}
备注
Accepted by ECAI24, model and code are available at https://github.com/xingyu-song/q_gcn