自主轮椅平台上基于注视依赖的人类导航意图解码

我们开创了“你看哪儿就去哪儿”的方法，通过解码用户如何观察环境来理解其希望将移动设备导航至何处，从而控制移动平台。然而，许多自然的眼动与动作意图解码无关，仅有一部分相关，这给解码带来了挑战，即所谓的“迈达斯触摸问题”。在此，我们提出了一种新方案，包括：1. 深度计算机视觉以理解用户在其视野中注视的物体；2. 分析用户注视在物体边界框上的位置；3. 使用简单的机器学习分类器来确定对该物体的显性视觉注意是否可预测朝向该物体的导航意图。我们的解码系统最终确定用户是想要驶向例如一扇门，还是仅仅看一眼。关键的是，我们发现当用户注视一个物体并想象自己正朝其移动时，这种运动想象（类似于神经接口）产生的眼动仍然可被解码。一旦检测到驾驶意图及相应位置，我们的系统会指令自主轮椅平台 A.Eye-Drive 导航至目标物体，同时避开静态与动态障碍物。因此，就导航而言，我们实现了一种认知层面的人机接口，因为它仅要求用户与目标进行认知交互，而无需持续操控轮椅驶向目标（低层面人机接口）。