利用三维场景约束消解三维人体姿态歧义
计算机视觉与模式识别
2019-08-21 v1
摘要
为理解并分析人类行为，我们需要捕捉人在世界中运动并与世界交互的过程。现有多数方法在进行三维人体姿态估计时未显式考虑场景。然而我们观察到，世界对身体构成约束，反之亦然。为说明这一点，我们展示了当前三维人体姿态估计方法产生的结果与三维场景不一致。我们的关键贡献是利用静态三维场景结构从单目图像更好地估计人体姿态。该方法强制实现物体排斥的邻近关系（Proximal Relationships with Object eXclusion, PROX）。为此，我们收集了一个新数据集，包含 12 个不同三维场景以及 20 名受试者在场景中运动并与之交互的 RGB 序列。我们使用三维人体身体模型 SMPL-X 表示人体姿态，并扩展 SMPLify-X 以利用场景约束估计身体姿态。我们借助三维场景信息制定了两个主要约束：互穿约束惩罚身体模型与周围三维场景的交叉；接触约束鼓励身体特定部位若距离与朝向足够接近则与场景表面接触。为定量评估，我们捕获了另一个包含 180 帧 RGB 的数据集，其真实身体姿态由动作捕捉系统估计。我们定量表明，引入场景约束显著降低了三维关节误差与顶点误差。我们的代码与数据可在 https://prox.is.tue.mpg.de 获取以供研究。
引用
@article{arxiv.1908.06963,
title = {Resolving 3D Human Pose Ambiguities with 3D Scene Constraints},
author = {Mohamed Hassan and Vasileios Choutas and Dimitrios Tzionas and Michael J. Black},
journal= {arXiv preprint arXiv:1908.06963},
year = {2019}
}
备注
To appear in ICCV 2019