基于 EMG 与眼动追踪并由 AltAi 神经形态处理器驱动的假手操作系统
机器人学
2026-02-23 v2
摘要
本文提出了一种用于上肢假肢的新型神经形态控制架构，将表面肌电图（sEMG）与视线引导的计算机视觉相结合。该系统使用部署在神经形态处理器 AltAi 上的脉冲神经网络实时分类 EMG 模式，同时眼动追踪头戴设备和场景相机识别用户焦点内的物体。在我们的原型中，最初为传统 GPU 开发的同一 EMG 识别模型被作为脉冲网络部署在 AltAi 上，在亚瓦功耗模式下实现了相当的准确率，从而实现了轻量级、可穿戴的实现方案。对于从上肢截肢者记录的六种不同功能手势，系统实现了与最先进肌电接口相当的稳健识别性能。当视觉流水线将决策空间限制为当前观察物体的三个上下文合适手势时，识别准确率提升至约 95%，同时排除了不安全且与物体不匹配的抓取方式。这些结果表明，所提出的神经形态、上下文感知控制器可以提供节能且可靠的假肢控制，并有望提高上肢截肢者日常活动的安全性和可用性。
引用
@article{arxiv.2601.17991,
title = {Prosthetic Hand Manipulation System Based on EMG and Eye Tracking Powered by the Neuromorphic Processor AltAi},
author = {Roman Akinshin and Elizaveta Lopatina and Kirill Bogatikov and Nikolai Kiz and Anna V. Makarova and Mikhail Lebedev and Miguel Altamirano Cabrera and Dzmitry Tsetserukou and Valerii Kangler},
journal= {arXiv preprint arXiv:2601.17991},
year = {2026}
}
备注
This paper has been accepted for publication at LBR of HRI 2026 conference