利用生物启发深度网络学习长期依赖性用于动作识别
计算机视觉与模式识别
2017-03-21 v3
摘要
尽管近年来投入了大量研究工作，如何从序列中高效学习长期依赖性仍然是一项相当具有挑战性的任务。作为序列学习的关键模型之一，循环神经网络（RNN）及其变体，如长短期记忆网络（LSTM）和门控循环单元（GRU），在实践中仍然不够强大。一个可能的原因是它们只有前馈连接，这与通常由前馈和反馈连接共同构成的生物神经系统不同。为解决这一问题，本文提出了一种生物启发的深度网络，称为 shuttleNet。技术上，shuttleNet 由多个处理器组成，每个处理器都是一个 GRU，同时关联多组细胞和状态。与传统的 RNN 不同，shuttleNet 内部的所有处理器通过环路连接来模拟大脑的前馈和反馈连接，其中它们在环路连接的多个通路中共享。然后采用注意力机制来选择最佳的信息流通路。在两个基准数据集（即 UCF101 和 HMDB51）上进行的大量实验表明，只需将 shuttleNet 嵌入 CNN-RNN 框架，我们就能击败最先进的方法。
引用
@article{arxiv.1611.05216,
title = {Learning long-term dependencies for action recognition with a biologically-inspired deep network},
author = {Yemin Shi and Yonghong Tian and Yaowei Wang and Tiejun Huang},
journal= {arXiv preprint arXiv:1611.05216},
year = {2017}
}
备注
9 pages, 4 figures