用于活动检测的上下文多尺度区域三维卷积网络
计算机视觉与模式识别
2018-01-30 v1
摘要
活动检测是计算机视觉中的一个基本问题。检测不同时间尺度的活动尤其具有挑战性。本文中，我们提出上下文多尺度区域三维卷积网络（CMS-RC3D）用于活动检测。为处理活动实例固有的时间尺度可变性，采用时间特征金字塔来表示不同时间尺度的活动。在时间特征金字塔的每一层上，学习一个活动提议检测器和一个活动分类器以检测特定时间尺度的活动。时间上下文信息被融合进活动分类器以获得更好的识别。更重要的是，所有层上的整个模型可以端到端训练。我们的 CMS-RC3D 检测器仅需一次通过骨干网络即可处理所有时间尺度范围内的活动。我们在两个公开活动检测基准 THUMOS14 和 ActivityNet 上测试了我们的检测器。大量实验表明，所提出的 CMS-RC3D 检测器在 THUMOS14 上以显著优势优于 SOTA 方法，并在 ActivityNet 上在使用浅层特征提取器的情况下取得了可比的结果。
引用
@article{arxiv.1801.09184,
title = {Contextual Multi-Scale Region Convolutional 3D Network for Activity Detection},
author = {Yancheng Bai and Huijuan Xu and Kate Saenko and Bernard Ghanem},
journal= {arXiv preprint arXiv:1801.09184},
year = {2018}
}
备注
10 pages, 3 figures