动作识别向何处去？一种新模型与 Kinetics 数据集
计算机视觉与模式识别
2018-02-13 v3 机器学习
摘要
当前动作分类数据集（UCF-101 和 HMDB-51）中视频的匮乏，使得识别优秀的视频架构变得困难，因为大多数方法在现有小规模基准上获得了相似的性能。本文结合新的 Kinetics 人类动作视频数据集重新评估了最先进的架构。Kinetics 的数据量多出两个数量级，拥有 400 个人类动作类别且每类超过 400 个片段，并从真实且具有挑战性的 YouTube 视频中收集。我们分析了当前架构在该数据集上的动作分类任务表现如何，以及在 Kinetics 上预训练后，在较小基准数据集上的性能有多大提升。我们还引入了一种新的双流膨胀 3D 卷积网络（I3D），它基于 2D ConvNet 膨胀：将非常深的图像分类 ConvNet 的滤波器和池化核扩展到 3D，从而能够从视频中学习无缝的时空特征提取器，同时利用成功的 ImageNet 架构设计甚至其参数。我们表明，在 Kinetics 上预训练后，I3D 模型显著超越了动作分类的最先进水平，在 HMDB-51 上达到 80.9%，在 UCF-101 上达到 98.0%。
引用
@article{arxiv.1705.07750,
title = {Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset},
author = {Joao Carreira and Andrew Zisserman},
journal= {arXiv preprint arXiv:1705.07750},
year = {2018}
}
备注
Removed references to mini-kinetics dataset that was never made publicly available and repeated all experiments on the full Kinetics dataset