预测虚拟现实中用户抓取意图

在虚拟现实中预测用户意图对于创建沉浸式体验至关重要，尤其是涉及复杂抓取运动的任务，其中需要精确的触觉反馈。在本工作中，我们利用手部运动的时间序列数据，对810次具有不同对象类型、大小和操作的试验，评估了分类和回归方法。我们的发现表明，分类模型在用户之间难以泛化，导致性能不一致。相比之下，特别是使用长短期记忆网络（LSTM）的回归方法表现更为稳健，在抓取前两秒的关键时窗内， timing 误差在0.25秒内，距离误差在5-20厘米之间。尽管如此，预测精确的手部姿势仍然具有挑战性。通过对用户可变性和模型可解释性的全面分析，我们探讨了某些模型为何会失败以及回归模型为何更好地适应虚拟现实中用户行为的动态和复杂本质。我们的结果强调了机器学习模型提高虚拟现实交互的潜力，尤其是通过自适应触觉反馈，并为未来在虚拟现实中实时预测用户动作的进步奠定了基础。