双视角胜单视角：具有多视角一致性的单目 3D 姿态估计
计算机视觉与模式识别
2025-05-09 v3
摘要
从单张 2D 图像推断 3D 人体姿态本质上具有挑战性，因为多个 3D 姿态可能对应同一 2D 表示。3D 数据可解决此姿态歧义，但其记录成本高昂，且需要复杂的设置，通常仅限于受控实验室环境。我们提出一种方法，仅在训练时（而非推理时）使用多视角数据，从而提升基于深度学习的单目 3D 人体姿态估计模型的性能。我们引入一种新颖的损失函数——一致性损失（consistency loss），其作用于两个同步视角。该方法比以往需要 3D 真值或相机内参与外参的模型更为简单。我们的一致性损失在刚性对齐后惩罚两个姿态序列间的差异。我们还证明，无需 3D 数据，一致性损失即可大幅改善微调性能。此外，我们展示在以半监督方式从头训练模型时，使用我们的一致性损失可取得最先进性能。我们的发现提供了一种捕获新数据（例如在新域中）的简单途径。此类数据可使用现成相机添加，无需标定要求。我们公开所有代码与数据。
引用
@article{arxiv.2311.12421,
title = {Two Views Are Better than One: Monocular 3D Pose Estimation with Multiview Consistency},
author = {Christian Keilstrup Ingwersen and Rasmus Tirsgaard and Rasmus Nylander and Janus Nørtoft Jensen and Anders Bjorholm Dahl and Morten Rieger Hannemose},
journal= {arXiv preprint arXiv:2311.12421},
year = {2025}
}