用于动作分割与检测的时序卷积网络
计算机视觉与模式识别
2016-11-17 v1
摘要
在整个视频中识别并时序分割细粒度人类动作的能力，对于机器人学、监控、教育等领域至关重要。典型方法将这一问题解耦：首先从视频帧中提取局部时空特征，然后将其馈入一个捕捉高层时序模式的时序分类器。我们引入一类新的时序模型，称为时序卷积网络（Temporal Convolutional Networks, TCNs），它利用层次化的时序卷积来执行细粒度的动作分割或检测。我们的编码器-解码器 TCN 使用池化和上采样来高效捕捉长程时序模式，而我们的膨胀 TCN 则使用膨胀卷积。我们证明，TCN 能够捕捉动作组合、片段时长和长程依赖关系，并且训练速度比与之竞争的基于 LSTM 的循环神经网络快一个数量级以上。我们将这些模型应用于三个具有挑战性的细粒度数据集，并展示了相较于现有最佳水平的大幅提升。
引用
@article{arxiv.1611.05267,
title = {Temporal Convolutional Networks for Action Segmentation and Detection},
author = {Colin Lea and Michael D. Flynn and Rene Vidal and Austin Reiter and Gregory D. Hager},
journal= {arXiv preprint arXiv:1611.05267},
year = {2016}
}