基于惯性传感器的多域多模态融合人体动作识别
计算机视觉与模式识别
2020-08-25 v1 人工智能
机器学习
图像与视频处理
信号处理
摘要
动作识别中多重动作被误分类的一个主要原因是缺乏提供动作语义信息的互补特征。在不同域中，这些特征以不同尺度和强度存在。在现有文献中，特征在不同域中独立提取，但融合这些多域特征带来的益处尚未实现。为应对这一挑战并提取完整的互补信息集，本文提出一种新颖的多域多模态融合框架，从输入模态的不同域中提取互补且独特的特征。我们将输入惯性数据转换为信号图像，然后利用离散傅里叶变换（DFT）和Gabor小波变换（GWT）分别将空间域信息转换为频域和时频谱域，使输入模态成为多域多模态。不同域中的特征由卷积神经网络（CNN）提取，然后通过基于典型相关分析的融合（CCF）进行融合，以提高人体动作识别的准确率。在三个惯性数据集上的实验结果显示了所提方法相对于最先进方法的优越性。
引用
@article{arxiv.2008.09748,
title = {Multidomain Multimodal Fusion For Human Action Recognition Using Inertial Sensors},
author = {Zeeshan Ahmad and Naimul Khan},
journal= {arXiv preprint arXiv:2008.09748},
year = {2020}
}