UmeTrack：面向 VR 的统一多视角端到端手部追踪
计算机视觉与模式识别
2022-11-02 v1
摘要
世界坐标系中 3D 手部姿态的实时追踪是一个具有挑战性的问题，并在 VR 交互中发挥着重要作用。该领域的现有工作要么仅限于生成根相对（而非世界空间）的 3D 姿态，要么依赖生成热图和运动学优化等多个阶段来获取 3D 姿态。此外，涉及来自宽视场（fov）相机的多视角追踪的典型 VR 场景很少被这些方法所解决。在本文中，我们提出了一个统一的多视角、多帧手部追踪端到端可微分框架，可直接预测世界空间中的 3D 手部姿态。我们通过将下游任务（如抖动降低和捏合预测）扩展至我们的框架，展示了端到端可微分的优势。为证明我们模型的有效性，我们进一步提出了一个包含真实与合成数据的新大规模自我中心手部姿态数据集。实验表明，在该数据集上训练的系统可处理各种具有挑战性的交互动作，并已成功应用于实时 VR 应用。
引用
@article{arxiv.2211.00099,
title = {UmeTrack: Unified multi-view end-to-end hand tracking for VR},
author = {Shangchen Han and Po-chen Wu and Yubo Zhang and Beibei Liu and Linguang Zhang and Zheng Wang and Weiguang Si and Peizhao Zhang and Yujun Cai and Tomas Hodan and Randi Cabezas and Luan Tran and Muzaffer Akbay and Tsz-Ho Yu and Cem Keskin and Robert Wang},
journal= {arXiv preprint arXiv:2211.00099},
year = {2022}
}
备注
SIGGRAPH Asia 2022 Conference Papers, 8 pages