基于行为的 VR 生物识别的 2D 视频 3D 运动预测

依赖传统凭证（如 PIN、密码或多因素认证）的 VR 应用在医疗、教育和金融等领域可能在恶意人员获取用户凭证或用户将凭证交给盟友时面临被窃取的风险。最近涌现出一种采用 VR 头戴式显示器 (HMD) 和手持控制器在用户与 VR 环境交互期间运动来表示用户行为为 VR 生物识别签名的方法。行为基于方法的一个根本局限是当前设备端跟踪 HMD 和控制器缺乏执行全身关节 articulation 跟踪的能力，丢失了用户 articulation 所封装的关键签名数据。在本文中，我们提出一种方法，使用来自参与者右侧的外部 2D 摄像机获取的 2D 身体关节（肩部、肘部、手腕、髋部、膝盖和踝部）。通过基于 Transformer 的深度神经网络，该方法使用 HMD 和控制器无法跟踪的 2D 关节数据，预测右侧控制器的过去和未来 3D 轨迹，从而提供了增强 3D 知识的认证优势。我们的方法在先前使用单单位 3D 轨迹作为输入的工作基础上，实现了最低等于错误率 (EER) 为 0.025，最大 EER 下降为 0.040。