超越时间池化：视频手势识别中的循环与时间卷积
计算机视觉与模式识别
2016-02-11 v3 人工智能
机器学习
神经与进化计算
机器学习
摘要
近期研究已证明了循环神经网络在机器翻译、图像描述和语音识别中的强大能力。然而，对于捕获视频中时间结构的任务，仍存在许多开放研究问题。当前研究建议使用简单的时间特征池化策略来考虑视频的时间方面。我们证明该方法对于手势识别是不够的，因为相较于通用视频分类任务，时间信息在手势识别中更具判别性。我们探索了用于视频手势识别的深度架构，并提出了一种融合时间卷积与双向循环的端到端可训练神经网络架构。我们的主要贡献有两方面：首先，我们表明循环对此任务至关重要；其次，我们表明添加时间卷积带来显著改进。我们在Montalbano手势识别数据集上评估了不同方法，取得了最先进的结果。
引用
@article{arxiv.1506.01911,
title = {Beyond Temporal Pooling: Recurrence and Temporal Convolutions for Gesture Recognition in Video},
author = {Lionel Pigou and Aäron van den Oord and Sander Dieleman and Mieke Van Herreweghe and Joni Dambre},
journal= {arXiv preprint arXiv:1506.01911},
year = {2016}
}