面向以人为中心的智能制造的工人活动多模态识别

在以人为中心的智能制造系统中，对工人活动的感知与理解是首要任。本文提出一种利用来自不同传感器与不同模态信息的新型多模态工人活动识别方法。具体而言，采用智能臂环与视觉相机分别采集惯性测量单元（IMU）信号与视频。针对 IMU 信号，我们设计了频域与空域两种新颖的特征变换机制，将所采 IMU 信号组装为图像，从而可使用卷积神经网络学习最具判别力的特征。除上述两种模态外，我们还针对视频数据提出视频帧级与视频片段级另两种模态。四种模态各自返回活动预测的概率分布，随后融合这些概率分布以输出工人活动分类结果。我们建立了一个含 6 类活动的工人活动数据集，目前包含装配任务中 6 种常见活动：抓取工具/零件、敲钉、使用电螺丝刀、手臂休息、转动螺丝刀和使用扳手。所开发的多模态方法在该数据集上评估，在留一法与对半实验中分别取得高达 97% 与 100% 的识别准确率。