基于多模态CNN-LSTM结构的并发活动识别
计算机视觉与模式识别
2017-02-07 v1
摘要
我们介绍了一种从不同类型多传感器捕获的真实世界数据中识别并发活动的系统。该识别分两步实现。首先，我们从多模态数据中提取空间和时间特征。我们将每种数据类型输入到提取空间特征的卷积神经网络（convolutional neural network, CNN）中，随后接入长短期记忆（long-short term memory, LSTM）网络以提取传感数据中的时间信息。提取的特征随后在第二步中融合用于决策。其次，我们使用单个分类器实现并发活动识别，该分类器编码一个二元输出向量，其元素指示相应的活动类型是否正在进行。我们使用来自不同领域、由不同传感器记录的三个数据集测试了我们的系统，并取得了与专门为这些领域设计的现有系统相当的性能。我们的系统是首个使用单一模型处理多传感器数据并发活动识别的系统，其可扩展、易于训练且便于部署。
引用
@article{arxiv.1702.01638,
title = {Concurrent Activity Recognition with Multimodal CNN-LSTM Structure},
author = {Xinyu Li and Yanyi Zhang and Jianyu Zhang and Shuhong Chen and Ivan Marsic and Richard A. Farneth and Randall S. Burd},
journal= {arXiv preprint arXiv:1702.01638},
year = {2017}
}
备注
14 pages, 12 figures, under review