TriPose：一种基于视频三角测量的弱监督三维人体姿态估计方法
计算机视觉与模式识别
2021-05-17 v1
摘要
从视频估计三维人体姿态是一个具有挑战性的问题。三维人体姿态标注的缺乏是有监督训练及泛化到未见过数据集的主要障碍。本工作中，我们提出一种不需要三维标注或标定相机的弱监督训练方案来解决该问题。所提方法依赖时间信息与三角测量。以多视角二维姿态为输入，我们首先估计相对相机朝向，然后通过三角测量生成三维姿态。三角测量仅应用于具有高二维人体关节置信度的视角。生成的三维姿态随后用于训练一个循环提升网络(RLN)，该网络从二维姿态估计三维姿态。我们进一步对估计的三维姿态施加多视角重投影损失，并强制从多视角估计的三维姿态保持一致。因此，我们的方法放宽了实际中的约束，仅需多视角视频用于训练，从而便于野外(in-the-wild)设置。推理时，RLN 仅需单视角视频。所提方法在 Human3.6M 与 MPI-INF-3DHP 两个具挑战性数据集上优于先前工作。代码与预训练模型将公开可用。
引用
@article{arxiv.2105.06599,
title = {TriPose: A Weakly-Supervised 3D Human Pose Estimation via Triangulation from Video},
author = {Mohsen Gholami and Ahmad Rezaei and Helge Rhodin and Rabab Ward and Z. Jane Wang},
journal= {arXiv preprint arXiv:2105.06599},
year = {2021}
}