用于动作识别的基于注意力机制的时间加权卷积神经网络
计算机视觉与模式识别
2018-03-21 v1
摘要
自从引入卷积神经网络 (CNN) 等强大的机器学习工具以来，人类动作识别的研究显著加速。然而，将时间信息有效且高效地融入 CNN 的方法在近期文献中仍被积极探索。受自然语言处理领域流行的循环注意力模型启发，我们提出了基于注意力机制的时间加权 CNN (ATW)，该模型将视觉注意力模型嵌入到时间加权多流 CNN 中。该注意力模型简单地实现为时间加权，却有效提升了视频表示的识别性能。此外，所提出的 ATW 框架中的每个流都能够进行端到端训练，网络参数与时间权重均通过反向传播由随机梯度下降 (SGD) 进行优化。我们的实验表明，所提出的注意力机制通过聚焦于更相关的视频片段，利用更具判别性的片段为性能提升做出了巨大贡献。
引用
@article{arxiv.1803.07179,
title = {Attention-based Temporal Weighted Convolutional Neural Network for Action Recognition},
author = {Jinliang Zang and Le Wang and Ziyi Liu and Qilin Zhang and Zhenxing Niu and Gang Hua and Nanning Zheng},
journal= {arXiv preprint arXiv:1803.07179},
year = {2018}
}
备注
14th International Conference on Artificial Intelligence Applications and Innovations (AIAI 2018), May 25-27, 2018, Rhodes, Greece