回归RGB：基于短基线立体视觉的手部及手-物交互三维跟踪
计算机视觉与模式识别
2017-05-16 v1
摘要
我们提出了一种解决人体手（可能与其他物体交互）关节运动的三维跟踪问题的新颖方案。绝大多数当代相关工作利用 RGBD 相机提供的深度信息。在这项工作中，我们表明准确且高效的三维手部跟踪是可能的，即使对于 RGB 立体情况也是如此。基于此类输入解决该问题的直接方法将是首先恢复深度，然后应用最先进的基于深度的三维手部跟踪方法。不幸的是，这在实践中效果不佳，因为基于立体的手部稠密三维重建远不如 RGBD 相机获得的重建准确。我们的方法绕过三维重建，并遵循完全不同的路径：将三维手部跟踪公式化为一个优化问题，其解是使手的两视图之间颜色一致性最大化的手部配置。我们展示了我们的方法在单手、操纵物体的手以及两只交互手的实时跟踪中的适用性。该方法已在标准数据集上进行了定量评估，并与相关的、最先进的基于 RGBD 的方法进行了比较。所获得的结果表明，所提出的基于立体的方法与其基于 RGBD 的竞争者表现同样好，并且在某些情况下甚至优于它们。
引用
@article{arxiv.1705.05301,
title = {Back to RGB: 3D tracking of hands and hand-object interactions based on short-baseline stereo},
author = {Paschalis Panteleris and Antonis Argyros},
journal= {arXiv preprint arXiv:1705.05301},
year = {2017}
}