基于透视知识的弱监督预训练用于三维人体姿态估计
计算机视觉与模式识别
2022-11-23 v1
摘要
现代基于深度学习的3D姿态估计方法需要大量3D姿态标注。然而，现有3D数据集缺乏多样性，限制了当前方法的性能与泛化能力。尽管已有方法利用2D姿态标注辅助3D姿态估计，但它们主要关注从2D姿态提取2D结构约束，忽略了图像中隐藏的3D信息。本文提出一种新方法，无需3D姿态监督即可从2D图像直接提取弱3D信息。首先，我们利用2D姿态标注与透视先验知识生成关键点相对相机更近或更远的关系，称为相对深度。我们收集了一个2D姿态数据集（MCPC）并生成相对深度标签。基于MCPC，我们提出弱监督预训练（WSP）策略以区分图像中两点的深度关系。WSP能在大量自然图像上学习两个关键点的相对深度，从而具备更强的深度预测能力与3D人体姿态估计泛化能力。在3D姿态数据集上微调后，WSP在两个常用基准上取得了最先进（state-of-the-art）结果。
引用
@article{arxiv.2211.11983,
title = {Weakly-supervised Pre-training for 3D Human Pose Estimation via Perspective Knowledge},
author = {Zhongwei Qiu and Kai Qiu and Jianlong Fu and Dongmei Fu},
journal= {arXiv preprint arXiv:2211.11983},
year = {2022}
}