为自我中心3D人体姿态估计引入后置相机
计算机视觉与模式识别
2025-08-25 v2
摘要
使用安装在头戴式设备（HMD）前方的相机进行自我中心 3D 人体姿态估计已被积极研究。虽然前置安装对于手部追踪等某些任务是最佳且唯一的选择，但由于自遮挡和有限的视场覆盖，对于全身追踪是否同样适用尚不清楚。值得注意的是，即使在许多场景下，如当 HMD 用户向上倾斜头部——这是人类活动中的常见动作，SOTA 方法也常常无法估计准确的 3D 姿态。现有 HMD 设计的一个关键局限是忽视了身体背面，尽管它有可能提供关键的 3D 重建线索。因此，本文研究了后置相机对全身追踪的实用性。我们还表明，对于现有方法，简单地将后视角添加到正面输入中并非最优，因为它们依赖于单独的 2D 关节检测器，缺乏有效的多视角整合。为解决此问题，我们提出了一种基于 Transformer 的新方法，利用多视角信息和热图不确定性来优化 2D 关节热图估计，从而改进 3D 姿态追踪。此外，我们引入了两个新的大规模数据集 Ego4View-Syn 和 Ego4View-RW，用于后视角评估。我们的实验表明，带有后视角的新相机配置比仅前置安装为 3D 姿态追踪提供了更优的支持。所提方法相较于当前 SOTA 取得了显著提升（在 MPJPE 上 >10%）。源代码、训练好的模型和数据集可在我们的项目页面 https://4dqv.mpi-inf.mpg.de/EgoRear/ 获取。
引用
@article{arxiv.2503.11652,
title = {Bring Your Rear Cameras for Egocentric 3D Human Pose Estimation},
author = {Hiroyasu Akada and Jian Wang and Vladislav Golyanik and Christian Theobalt},
journal= {arXiv preprint arXiv:2503.11652},
year = {2025}
}
备注
Project page: https://4dqv.mpi-inf.mpg.de/EgoRear/