RoboFiSense: 基于注意力的机器人臂活动识别与WiFi感知

尽管当前对自主机器人系统的兴趣激增，但在受限室内环境中的机器人活动识别仍然是一个艰巨的挑战。检测和识别机器人臂活动的传统方法通常依赖于基于视觉或光检测与测距（LiDAR）传感器，这些传感器需要视线（LoS）访问，并可能引发隐私问题，例如在护理设施中。本研究开创了一种创新方法，利用从WiFi信号中测量的信道状态信息（CSI），该信息受到机器人臂活动的微妙影响。我们开发了一个基于注意力的网络，用于分类Franka Emika机器人臂在不同情况下执行的八种不同活动。我们提出的双向视觉变换器连接（BiVTC）方法旨在准确预测机器人臂活动，即使是在不同速度的活动上训练，也无需依赖外部或内部传感器或视觉辅助。考虑到CSI数据对环境的强依赖性，我们通过系统地改变嗅探器位置并收集不同数据集来研究嗅探器位置选择问题。最后，本文还首次发布了八种不同机器人臂活动的CSI数据集，统称为RoboFiSense。该倡议旨在为研究社区提供基准数据集和基线，促进机器人感知领域的发展。