融合视觉与肌电的手部追踪用于扩展现实乐器
计算机视觉与模式识别
2023-07-21 v1
摘要
手部追踪是扩展现实（XR）环境（包括扩展现实乐器（XRMIs））中自然用户交互的关键组成部分。然而，自遮挡仍是基于视觉的手部追踪系统的重大挑战，导致结果不准确与用户体验下降。在本文中，我们提出一种多模态手部追踪系统，将基于视觉的手部追踪与表面肌电图（sEMG）数据相结合以估计手指关节角度。我们设计了一系列涵盖广泛手势（包括易于发生自遮挡的手势）的手部姿态任务来验证系统的有效性。通过将我们的多模态系统性能与基线基于视觉的追踪方法进行比较，我们证明该多模态方法显著提升了多个易自遮挡手指关节的追踪精度。这些发现表明，即使在存在自遮挡的情况下，我们的系统也有潜力通过提供更准确、更鲁棒的手部追踪来增强 XR 体验。
引用
@article{arxiv.2307.10203,
title = {Combining Vision and EMG-Based Hand Tracking for Extended Reality Musical Instruments},
author = {Max Graf and Mathieu Barthet},
journal= {arXiv preprint arXiv:2307.10203},
year = {2023}
}
备注
Accepted for publication at CMMR 2023