EgoTouch：使用 AR/VR 头显摄像头的体表触摸输入

在增强与虚拟现实（AR/VR）体验中，用户的手臂和手可为触摸输入提供便捷且具触觉的表面。先前的工作表明，与当今常见的空中界面相比，体表输入在速度、准确性和人体工学方面具有显著优势。在本工作中，我们仅使用一个 RGB 摄像头（如所有现代 XR 头显中已集成的摄像头），演示了高精度、裸手（即无需用户佩戴特殊仪器）皮肤输入。我们的结果表明，该方法在不同光照条件、肤色和身体运动（例如行走时的输入）下均能保持准确和稳健。最后，我们的流程还提供了丰富的输入元数据，包括触摸力度、手指识别、入射角和旋转。我们相信这些是更充分地解锁体表界面的必要技术要素，该界面在人机交互文献中已得到充分论证，但一直缺乏稳健且实用的方法。