基于触摸屏的 V-Hands 手部跟踪用于远程白板交互
人机交互
2024-09-23 v1 计算机视觉与模式识别
图形学
摘要
在基于白板的远程交流中，drawn 内容与手部-屏幕交互的无缝集成对于创造沉浸式用户体验至关重要。以往的方法要么需要捕捉手势的笨重设备设置，要么无法准确地从电容图像中跟踪手部姿态。本文提出了一种从电容视频帧中精确跟踪两个手部 3D 姿态的实时方法。为此，我们开发了一个深度神经网络，用于从电容帧中识别手部并推断手部关节位置，然后通过受约束的逆运动学求解器恢复 3D 手部姿态。此外，我们设计了一种用于捕捉高质量手部-屏幕交互数据的数据设备 setup，并获得了一个更精确的同步电容视频和手部姿态数据集。我们的方法在保持紧凑设备 setup 以进行远程交流的同时，提高了电容帧 3D 手部跟踪的准确性和稳定性。我们在 3D 手部姿态跟踪和基于白板的远程交流方面验证了方案 design 的有效性及其优异性能。我们的代码、模型和数据集均可在 https://V-Hands.github.io 获取。
引用
@article{arxiv.2409.13347,
title = {V-Hands: Touchscreen-based Hand Tracking for Remote Whiteboard Interaction},
author = {Xinshuang Liu and Yizhong Zhang and Xin Tong},
journal= {arXiv preprint arXiv:2409.13347},
year = {2024}
}