SHOW3D: 野外场景下3D手与物体的捕捉
计算机视觉与模式识别
2026-03-31 v1 机器人学
摘要
对人类手部和物体在操作过程中的准确3D理解仍然是自我中心计算机视觉的一项重大挑战。现有的手-物交互数据集主要在受控的演播室环境中采集，这限制了环境多样性以及在此类数据上训练的模型向真实场景泛化的能力。为应对这一挑战，我们提出了一种新型无标记多相机系统，允许在真正野外条件下进行几乎不受约束的移动，同时仍能生成精确的3D手和物体标注。该捕捉系统由一个轻量级的背部安装多相机阵列组成，与用户佩戴的VR头显同步并校准。为获得手和物体的3D真值标注，我们开发了一个自我-外部跟踪流水线并严格评估其质量。最后，我们呈现了SHOW3D——第一个具有3D标注的大规模数据集，展示手在多样化真实环境（包括室外环境）中与物体交互。我们的方法显著降低了环境真实感与3D标注精度之间的基本权衡，我们通过多个下游任务的实验对此进行了验证。show3d-dataset.github.io
引用
@article{arxiv.2603.28760,
title = {SHOW3D: Capturing Scenes of 3D Hands and Objects in the Wild},
author = {Patrick Rim and Kevin Harris and Braden Copple and Shangchen Han and Xu Xie and Ivan Shugurov and Sizhe An and He Wen and Alex Wong and Tomas Hodan and Kun He},
journal= {arXiv preprint arXiv:2603.28760},
year = {2026}
}
备注
CVPR 2026