用于人体动作识别的格长短期记忆网络
计算机视觉与模式识别
2017-08-15 v1
摘要
视频序列中捕获的人类动作是表征视觉外观和运动动力学的三维信号。为了学习动作模式，现有方法采用卷积和/或循环神经网络（CNNs 和 RNNs）。基于 CNN 的方法在学习空间外观方面很有效，但在建模长期运动动力学方面存在局限。RNNs，尤其是长短期记忆网络（LSTM），能够学习时间运动动力学。然而，以卷积方式将 RNNs 直接应用于视频序列，隐含地假设视频中的运动在不同空间位置上是平稳的。这一假设对短期运动有效，但当运动持续时间较长时则无效。在本文中，我们提出了 Lattice-LSTM（L2STM），它通过为各个空间位置学习独立的记忆单元隐藏状态转移来扩展 LSTM。该方法有效增强了跨时间的动力学建模能力，并在不显著增加模型复杂度的情况下解决了长期运动动力学的非平稳问题。此外，我们引入了一种新颖的多模态训练程序来训练我们的网络。传统的双流架构使用 RGB 和光流信息作为输入，与此不同，我们的双流模型利用两种模态联合训练网络中的两个输入门和两个遗忘门，而不是将两流视为互不相关的独立实体。我们将此端到端系统应用于人体动作识别的基准数据集（UCF-101 和 HMDB-51）。实验表明，在这两个数据集上，我们提出的方法优于所有具有相似模型复杂度的基于 LSTM 和/或 CNNs 的现有方法。
引用
@article{arxiv.1708.03958,
title = {Lattice Long Short-Term Memory for Human Action Recognition},
author = {Lin Sun and Kui Jia and Kevin Chen and Dit Yan Yeung and Bertram E. Shi and Silvio Savarese},
journal= {arXiv preprint arXiv:1708.03958},
year = {2017}
}
备注
ICCV2017