利用移动多相机装置在自然场景下进行 Ego-Exo 3D 手部追踪
计算机视觉与模式识别
2025-10-06 v1
摘要
在不受约束的环境下对手部及其与世界的交互进行精确的 3D 追踪，仍然是自我中心计算机视觉的一项重大挑战。除少数例外，现有数据集主要在受控实验室环境中采集，限制了环境多样性和模型泛化能力。为解决这一问题，我们引入了一种新型无标记多相机系统，旨在捕捉精确的 3D 手部与物体，并允许在真正的自然场景下实现几乎不受约束的移动。我们将一个轻量级的背部佩戴采集装置与八个外部相机，以及一个用户佩戴的 Meta Quest 3 头显相结合，后者提供两个自我中心视角。我们设计了一个 ego-exo 追踪流水线，以从该系统生成准确的 3D 手部姿态真值，并严格评估其质量。通过收集一个包含同步多视角图像和精确 3D 手部姿态的标注数据集，我们证明了我们的方法能够显著减少环境真实性与 3D 标注准确性之间的权衡。
引用
@article{arxiv.2510.02601,
title = {Ego-Exo 3D Hand Tracking in the Wild with a Mobile Multi-Camera Rig},
author = {Patrick Rim and Kun He and Kevin Harris and Braden Copple and Shangchen Han and Sizhe An and Ivan Shugurov and Tomas Hodan and He Wen and Xu Xie},
journal= {arXiv preprint arXiv:2510.02601},
year = {2025}
}