基于肌电图的力感知接口用于自然 VR/AR 交互
人机交互
2022-10-05 v1 图形学
机器学习
摘要
尽管虚拟现实与增强现实(VR/AR)在视觉与听觉真实感方面取得了巨大进展,但将可信的物理感引入虚拟世界仍然具有挑战性。缩小真实世界物理感与沉浸式虚拟体验之间的差距需要一个闭环交互:将用户施加的物理力应用于虚拟环境,并向用户生成触觉反馈。然而,现有的 VR/AR 方案要么完全忽略用户的力输入,要么依赖有侵入性的传感设备而损害用户体验。通过识别用户在 VR/AR 中的肌肉激活模式,我们设计了一种基于学习的神经接口,用于自然直观的力输入。具体而言,我们表明,轻量级的肌电图传感器非侵入性地贴附在用户前臂皮肤上,能够告知并建立对其复杂手部活动的稳健理解。在基于神经网络的模型驱动下,我们的接口能以 3.3% 的平均误差实时解码逐指力量,并以少量校准泛化到新用户。通过一项交互式心理物理学研究,我们表明人类对虚拟物体物理属性(如刚度)的感知可通过我们的接口显著增强。我们进一步证明,我们的接口可通过手指敲击实现普适控制。最终,我们期望我们的发现能推动未来 VR/AR 中更真实物理感的研究。
引用
@article{arxiv.2210.01225,
title = {Force-Aware Interface via Electromyography for Natural VR/AR Interaction},
author = {Yunxiang Zhang and Benjamin Liang and Boyuan Chen and Paul Torrens and S. Farokh Atashzar and Dahua Lin and Qi Sun},
journal= {arXiv preprint arXiv:2210.01225},
year = {2022}
}
备注
ACM Transactions on Graphics (SIGGRAPH Asia 2022)