基于跨视角U形图卷积网络的弱监督3D人体姿态估计
计算机视觉与模式识别
2022-05-18 v2
摘要
尽管单目3D人体姿态估计方法已取得显著进展，但由于固有的深度模糊性，该问题远未解决。相反，利用多视角信息是实现绝对3D人体姿态估计的实用途径。本文提出一种简单而有效的弱监督跨视角3D人体姿态估计流程。仅使用两个相机视角，我们的方法能以弱监督方式达到最先进性能，无需3D真值而仅需2D标注。具体而言，我们的方法包含两个步骤：三角化与精炼。首先，给定可通过任意经典2D检测方法获得的2D关键点，跨两视角执行三角化将2D关键点提升为粗3D姿态。然后，设计一种新颖的跨视角U形图卷积网络（CV-UGCN），可探索空间构型与跨视角关联，用于精炼粗3D姿态。特别地，精炼过程通过弱监督学习实现，其中执行几何与结构感知的一致性检验。我们在标准基准数据集Human3.6M上评估了我们的方法。基准数据集上的平均逐关节位置误差为27.4 mm，显著优于现有最先进方法（27.4 mm 对比 30.2 mm）。
引用
@article{arxiv.2105.10882,
title = {Weakly-supervised 3D Human Pose Estimation with Cross-view U-shaped Graph Convolutional Network},
author = {Guoliang Hua and Hong Liu and Wenhao Li and Qian Zhang and Runwei Ding and Xin Xu},
journal= {arXiv preprint arXiv:2105.10882},
year = {2022}
}
备注
Accepted by IEEE Transactions on Multimedia