用于动作定位的高斯时间感知网络
计算机视觉与模式识别
2019-09-10 v1
摘要
在视频中时序定位动作是视频理解中的基本挑战。多数现有方法常受图像目标检测启发，并将 SSD 和 Faster R-CNN 等进展扩展至在一维序列上产生动作的时序位置。然而，由于预先设定时序尺度的设计忽略了动作的时序结构并限制了对具有复杂变化的动作的检测效用，结果可能存在鲁棒性问题。本文中，我们提出通过引入高斯核来动态优化每个动作提议的时序尺度以应对该问题。具体地，我们提出高斯时间感知网络（GTAN）——一种将时序结构利用新颖地集成到单阶段动作定位框架中的新架构。在技术上，GTAN 通过学习一组高斯核（特征图中每个单元对应一个）来建模时序结构。每个高斯核对应于一个动作提议的特定区间，而高斯核的混合可进一步刻画具有不同长度的动议提议。此外，每条高斯曲线中的值反映了对动作提议定位的上下文贡献。在 THUMOS14 和 ActivityNet v1.3 数据集上进行了大量实验，与最先进方法相比报告了优越结果。更显著地，GTAN 在两个数据集的测试集上分别实现了 mAP 提升 1.9% 和 1.1%。
引用
@article{arxiv.1909.03877,
title = {Gaussian Temporal Awareness Networks for Action Localization},
author = {Fuchen Long and Ting Yao and Zhaofan Qiu and Xinmei Tian and Jiebo Luo and Tao Mei},
journal= {arXiv preprint arXiv:1909.03877},
year = {2019}
}
备注
CVPR 2019 Oral