基于多模态传感器的人体活动识别的多视图融合Transformer
信号处理
2022-03-01 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
作为泛在计算与机器学习中的基础问题，基于传感器的人体活动识别（HAR）近年来受到广泛关注并取得重大进展。HAR旨在基于加速度计和陀螺仪等多模态传感器采集的丰富时间序列数据来识别人体活动。然而，近期的深度学习方法聚焦于数据的单一视图，即时间视图，而浅层方法倾向于利用手工特征进行识别，例如统计视图。本文中，为提取更优特征以提升性能，我们提出一种新方法，即多视图融合Transformer（MVFT）以及一种新颖的注意力机制。首先，MVFT编码时间、频率和统计三种视图的信息以生成多视图特征。其次，该新颖注意力机制揭示视图内与跨视图线索，促进三视图间的相互交互以实现细粒度关系建模。此外，在两个数据集上的大量实验表明了我们的方法优于若干最先进（SOTA）方法。
引用
@article{arxiv.2202.12949,
title = {Multi-View Fusion Transformer for Sensor-Based Human Activity Recognition},
author = {Yimu Wang and Kun Yu and Yan Wang and Hui Xue},
journal= {arXiv preprint arXiv:2202.12949},
year = {2022}
}
备注
5 pages, 1 figure