基于二维-三维一致性与同步对抗训练的 3D 人体姿态估计
计算机视觉与模式识别
2024-03-06 v4
摘要
尽管该领域已有大量工作，从单张图像进行 3D 人体姿态估计仍是一个具有挑战性的问题。一般而言，多数方法直接使用神经网络而忽略某些约束（例如重投影约束、关节角度与骨长约束）。少数方法考虑了这些约束但分别训练网络，无法有效解决深度模糊问题。本文提出一种基于 GAN 的 3D 人体姿态估计模型，其中采用重投影网络学习从 3D 姿态到 2D 姿态的分布映射，并采用判别器进行二维-三维一致性判别。我们采用一种新策略同步训练生成器、重投影网络与判别器。此外，受典型运动学链空间（KCS）矩阵启发，我们引入加权 KCS 矩阵并将其作为判别器输入之一以施加关节角度与骨长约束。在 Human3.6M 上的实验结果表明，我们的方法在大多数情况下显著优于 SOTA 方法。
引用
@article{arxiv.2106.04274,
title = {3D Human Pose Estimation Based on 2D-3D Consistency with Synchronized Adversarial Training},
author = {Yicheng Deng and Cheng Sun and Yongqi Sun and Jiahui Zhu},
journal= {arXiv preprint arXiv:2106.04274},
year = {2024}
}