用于人类活动识别的鲁棒多模态融合
机器学习
2023-03-09 v1 信号处理
摘要
配备异构传感器的物联网与移动设备的普及，催生了依赖融合多模态多传感器生成的时间序列数据的新应用。尽管存在前景可观的多模态融合深度神经网络架构，其性能在多个模态/传感器出现连续缺失数据与噪声（真实场景中普遍存在的问题）时会迅速恶化。我们提出Centaur，一种用于人类活动识别（HAR）的多模态融合模型，对上述数据质量问题具有鲁棒性。Centaur结合数据清洗模块（带卷积层的去噪自编码器）与多模态融合模块（带自注意力机制以捕捉跨传感器相关性的深度卷积神经网络）。我们使用随机数据损坏方案训练Centaur，并在三个含多惯性测量单元生成数据的数据集上评估。Centaur的数据清洗模块优于2个最先进的基于自编码器的模型，其多模态融合模块优于4个强基线。相较2种相关鲁棒融合架构，Centaur更鲁棒，在HAR中取得高11.59-17.52%的准确率，尤其在多传感器通道连续缺失数据存在时。
引用
@article{arxiv.2303.04636,
title = {Robust Multimodal Fusion for Human Activity Recognition},
author = {Sanju Xaviar and Xin Yang and Omid Ardakanian},
journal= {arXiv preprint arXiv:2303.04636},
year = {2023}
}
备注
13 pages