用于被动活动识别的自监督多模态融合 Transformer
信号处理
2022-09-09 v1 计算机视觉与模式识别
人机交互
机器学习
摘要
Wi-Fi 信号的普及为医疗健康等领域的人体感知与活动识别提供了重要机遇。用于被动 Wi-Fi 感知最常用的传感器基于被动 Wi-Fi 雷达（PWR）和信道状态信息（CSI）数据，然而当前系统未能有效利用通过多个传感器获取的信息来识别不同活动。本文中，我们探索 Transformer 架构在多模态传感器融合方面的新特性。我们研究不同的信号处理技术，以从 PWR 和 CSI 数据中提取多种基于图像的特征，如频谱图、尺度图以及马尔可夫转移场（MTF）。我们首先提出 Fusion Transformer，一种基于注意力的多模态与多传感器融合模型。实验结果表明，我们的 Fusion Transformer 方法相比 ResNet 架构能以少得多的资源取得具有竞争力的结果。为进一步提升模型，我们提出一种简单而有效的多模态与多传感器自监督学习（SSL）框架。自监督 Fusion Transformer 优于基线方法，取得了 95.9% 的 F1-score。最后，我们展示了该方法在仅使用 1%（2 分钟）至 20%（40 分钟）标注训练数据训练时，显著优于其他方法。
引用
@article{arxiv.2209.03765,
title = {Self-Supervised Multimodal Fusion Transformer for Passive Activity Recognition},
author = {Armand K. Koupai and Mohammud J. Bocus and Raul Santos-Rodriguez and Robert J. Piechocki and Ryan McConville},
journal= {arXiv preprint arXiv:2209.03765},
year = {2022}
}
备注
9 pages, 7 figures, submitted to IET Wireless Sensor Systems