面向人体动作识别的惯性传感器数据到图像编码

卷积神经网络（CNN）是计算机视觉领域成功的深度学习模型。为了在使用惯性传感器数据的人体动作识别（HAR）中最大限度地发挥CNN模型的优势，本文采用4种空间域方法将惯性传感器数据转换为活动图像，并将其用于一种新颖的融合框架中。这四类活动图像分别为信号图像（SI）、格拉姆角场（GAF）图像、马尔可夫转移场（MTF）图像和递归图（RP）图像。此外，为构建多模态融合框架并利用活动图像，我们通过两种空间域滤波器（Prewitt滤波器和High-boost滤波器）对每类活动图像进行卷积以使其多模态化。使用CNN模型ResNet-18从多模态中学习深度特征。从每个ResNet的最后池化层提取学习到的特征，然后通过基于典型相关分析的融合（CCF）进行融合，以提高人体动作识别的准确率。这些高信息量的特征作为多类支持向量机（SVM）的输入。在三个公开可用的惯性数据集上的实验结果表明，所提方法优于当前最先进水平。