用于并发活动识别的三轴自注意力
计算机视觉与模式识别
2018-12-10 v1 机器学习
摘要
我们提出了一种用于并发活动识别的系统。为提取与不同活动相关的特征，我们提出特征到活动的注意力，将提取的全局特征映射为与各个活动相关的子特征。为建模各活动的时序关联，我们提出一种 transformer 网络编码器，对每个活动建模独立的时序关联。为使并发活动预测感知活动间潜在关联，我们提出带关联掩码的自注意力。我们的系统在三个常用并发活动检测数据集上取得了最先进或可比的性能。可视化表明我们的系统能够定位用于最终决策的重要时空特征。我们还展示了我们的系统可应用于一般多标签分类问题。
引用
@article{arxiv.1812.02817,
title = {Tri-axial Self-Attention for Concurrent Activity Recognition},
author = {Yanyi Zhang and Xinyu Li and Kaixiang Huang and Yehan Wang and Shuhong Chen and Ivan Marsic},
journal= {arXiv preprint arXiv:1812.02817},
year = {2018}
}