Gimme Signals：面向多模态活动识别的判别性信号编码
计算机视觉与模式识别
2020-04-10 v2 机器人学
摘要
我们提出了一种简单、有效且灵活的动作识别方法，支持多种传感器模态。多变量信号序列被编码为图像，随后使用近期提出的EfficientNet CNN架构进行分类。我们的重点在于寻找一种无需特定适配即可在不同传感器模态间良好泛化的方法，同时仍能取得良好结果。我们将该方法应用于4个动作识别数据集，包含骨架序列、惯性及动作捕捉测量数据，以及多达120个动作类别的WiFi指纹。我们的方法在NTU RGB+D 120数据集上确立了当前最佳的基于CNN的方法，将ARIL Wi-Fi数据集上的最优性能提升+6.78%，将UTD-MHAD惯性基线提升+14.4%，将UTD-MHAD骨架基线提升1.13%，并在Simitate动作捕捉数据（80/20划分）上达到96.11%。我们进一步展示了在信号级模态融合与信号约简以防止表示过载方面的实验。
引用
@article{arxiv.2003.06156,
title = {Gimme Signals: Discriminative signal encoding for multimodal activity recognition},
author = {Raphael Memmesheimer and Nick Theisen and Dietrich Paulus},
journal= {arXiv preprint arXiv:2003.06156},
year = {2020}
}
备注
8 pages, 4 figures, 4 tables