CameraPose：利用野外 2D 标注的弱监督单目 3D 人体姿态估计
计算机视觉与模式识别
2023-01-10 v1
摘要
为提升 3D 人体姿态估计器的泛化能力，许多现有基于深度学习的模型侧重于对训练姿态添加不同增强。然而，数据增强技术受限于“已见”的姿态组合，难以推断具有罕见“未见”关节位置的姿态。为此，我们提出 CameraPose，一种用于从单幅图像进行 3D 人体姿态估计的弱监督框架，其不仅可应用于 2D-3D 姿态对，也可仅用于 2D 标注。通过添加相机参数分支，任何野外 2D 标注均可送入我们的流程以提升训练多样性，且 3D 姿态可通过重投影回 2D 被隐式学习。此外，CameraPose 引入带置信度引导损失的精炼网络模块，以进一步提升 2D 姿态估计器提取的含噪 2D 关键点的质量。实验结果表明，CameraPose 在跨场景数据集上带来明显改进。值得注意的是，其在最具挑战性的数据集 3DPW 上以 3mm 优于基线方法。另外，将我们提出的精炼网络模块与现有 3D 姿态估计器结合，其在跨场景评估中的性能可获提升。
引用
@article{arxiv.2301.02979,
title = {CameraPose: Weakly-Supervised Monocular 3D Human Pose Estimation by Leveraging In-the-wild 2D Annotations},
author = {Cheng-Yen Yang and Jiajia Luo and Lu Xia and Yuyin Sun and Nan Qiao and Ke Zhang and Zhongyu Jiang and Jenq-Neng Hwang},
journal= {arXiv preprint arXiv:2301.02979},
year = {2023}
}