基于注视引导的3D手部运动预测用于检测以环视视角抓取任务中的意图
计算机视觉与模式识别
2025-04-03 v1 人工智能
机器人学
摘要
人类意图检测与手部运动预测对于驱动神经康复中的上肢辅助机器人至关重要。然而，依赖生理信号测量的传统方法受限且常缺乏环境上下文。我们提出了一种新方法，用于预测手部姿态和关节位置的未来序列。该方法整合了注视信息、历史手部运动序列和环境物体数据，能够根据患者的辅助需求动态适应，且无需提前知道要抓取的意图对象。具体而言，我们使用向量量化变分自编码器进行稳健的手部姿态编码，并使用自回归生成式Transformer进行有效的手部运动序列预测。我们在健康受试者的 pilot 研究中展示了这些新技术的可用性。为训练和评估所提出的方法，我们收集了一个包含来自多个受试者的各种抓取动作及不同物体的数据集。通过大量实验，我们证明所提方法能够成功预测顺序手部运动。尤其，注视信息在预测能力上显著提升，尤其是在输入帧数较少的情况下，凸显了该方法在实际应用中的潜力。
引用
@article{arxiv.2504.01024,
title = {Gaze-Guided 3D Hand Motion Prediction for Detecting Intent in Egocentric Grasping Tasks},
author = {Yufei He and Xucong Zhang and Arno H. A. Stienen},
journal= {arXiv preprint arXiv:2504.01024},
year = {2025}
}